“데이터, 생산 효율화와 기업 가치 제고한다”

2014-12-11
김창수 기자, cskim@elec4.co.kr

다양한 산업군에서 데이터양이 폭발적으로 증가함에 따라 빅데이터의 영향은 점점 더 커지고 있다. 이글에서는 빅데이터의 동향과 활용 사례에 대해 알아본다.
빅데이터는 대용량과 다양한 형태, 고속생성 및 고속처리의 특징을 비롯해 최근에는 가치까지 포함하여 정의되고 있다. 시장조사기관 IDC는 세계 빅데이터 시장이 2010년 32억 달러에서 2013년 97억 달러, 2015년 169억 달러 규모로 연평균 약 40%씩 성장할 것으로 전망했다. 국내시장은 연평균 약 40%의 성장률을 보이며 2016년 1억5,400만 달러 규모에 이를 것으로 예상된다. 이처럼 빅데이터 부상의 주요 이유로는 폭발적인 데이터양의 증가, 대용량 데이터 분석 및 활용을 할 수 있는 기술과 인프라 발달, 효율성을 중시하는 고객의 요구를 꼽을 수 있다.
주요 과제
빅데이터가 성공하기 위해서는 사고방식의 변화, 연결과 협력, 조직과 프로세스, 신뢰환경 구축 및 창의적 인력양성 등의 과제가 필수적이다. 먼저 사고방식의 변화는 빅데이터 분석을 위해 수많은 가정을 미리 설정·검증을 뜻하며, 연결과 협력의 경우 데이터 경제시대를 대비하는 데 필요하다. 즉 데이터는 무한한 자원이 될 수 있고, 활용할 수 있는 자원의 영역은 서로 연결과 협력을 통해 무한적으로 확장될 수 있단 사실이다. 또한 빅데이터 분석은 빠르게 변화하는 환경에 대처할 수 있어야 함으로 개발환경도 프로토타이핑(prototyping)을 통해 빨리 확인·수정할 수 있는 프로세서를 가져야 한다. 이 밖에도 데이터 신뢰 환경을 구축함은 물론, 데이터 생성에 참여하는 국가와 개인, 기업 등 주체들 간에 지식자원을 결합하고 협력을 촉진하기 위한 신뢰기반이 형성돼야 한다.

기업의 가치 결정하는 ‘빅데이터’
최근 이슈의 중심에 선 사물인터넷과 웨어러블 기기가 성공하기 위해서는 데이터의 활용과 분석이 중요하다. 앞으로 사물인터넷과 웨어러블 기기가 더 많이 활용될수록 많은 양의 데이터가 발생 및 수집되고 이 데이터의 분석을 통해 새로운 제품이 늘어날 전망이다. 특히 무인자동차는 주변의 물체를 탐지하기 위해 센서와 카메라, 레이더를 다량으로 보유해 여기서 수집되는 데이터양은 엄청날 것으로 전망된다.

이 분야의 선도기업인 구글은 앞으로 초당 1 GB 이상의 센서 데이터를 실시간으로 처리할 것이라고 발표한 바 있다. 특히 무인자동차로부터 수집되는 데이터는 무인자동차의 자동주행 기능의 기본적인 기반이 될 수 있을 뿐 아니라 그 외에 생산 효율화와 소비자편익 증진 등의 다방면으로 활용될 수 있을 것으로 보인다. 이처럼 차세대 산업에서 데이터의 생성 가능성은 무한하기 때문에 데이터의 양이 기업의 가치를 결정할 만큼 중요할 전망이다.

주요 기술
오픈 소스인 하둡 기술은 빅데이터 처리를 위한 핵심기술로 대용량 파일을 저장할 수 있는 분산 파일시스템을 제공하고, 클러스터 구성을 통해 멀티 노드로 부하를 분산 처리하며, 장비를 증가할수록 성능이 선형적으로 향상할 수 있다. 하둡의 아키텍처는 핵심 아파치 하둡(분산형 프로그래밍 프레임워크/테이블&스키마 매니지먼트/하둡 분산형 파일시스템 등), 필수적인 하둡 프로젝트(매니지먼트/코디네이터/컬럼화된 NoSQL 저장/데이터 플로우/SQL 등), 기타 오픈 애플리케이션으로 구성된다.

하지만 하둡 기술은 고도의 교육훈련 경력을 겸비한 애널리스트 전문가가 요구되며, 이에 대한 준비가 충분하지 않고, 공급하는 기업들이 급증하고 경쟁이 가속화되면서 벤더 지원이 사라질 수 있다는 단점이 있다. 이러한 단점에도 하둡 기술은 전통적인 데이터베이스 관리시스템보다 확실한 우위를 지니며 특히 동영상, 오디오 및 이메일과 같은 비구조적인 정보까지도 다룰 수 있어 비교적 간단하게 확장할 수 있어 사용자층이 지속해서 확대되고 있다.

시장 동향
빅데이터 시장은 활용 시장과 솔루션 시장으로 구분되며 기본적인 구성요소는 하드웨어, 소프트웨어 및 플랫폼이다. 이 중 가장 중요한 것은 하드웨어와 소프트웨어를 포괄할 수 있는 에코시스템을 포함한 모든 프로세스를 의미하는 플랫폼이다. 빅데이터는 기존 데이터 분석 개념에 대한 확장판이나 업그레이드가 아니라 데이터를 바라보는 관점이 바뀌는 패러다임의 변화로 인식할 필요가 있다.

특히 빅데이터 에코시스템은 서비스·애플리케이션 공급업체 및 빅데이터 사용자 등으로 구성되어 있다. 먼저 빅데이터 서비스 공급업체는 빅데이터의 기본적인 구성요소(하드웨어, 소프트웨어 및 다양한 플랫폼)을 통해 빅데이터 서비스를 제공하는 주체이며, 이러한 서비스는 애플리케이션을 통해 가치와 활용성이 순환된다. 또한 제공하는 서비스 유형이나 서비스 레벨에 따라 서비스 공급업체와 애플리케이션 공급업체가 다양하게 분포하고 있다.

특히 빅데이터 시장은 사용자 기술을 근간으로 하고 있어 사용자의 역할이 서비스 및 애플리케이션 공급업체보다 영향력이 매우 크다. 이유는 구글과 야후, 페이스북과 같은 사용자 수요 기반 서비스 기업들이 빅데이터 기술 개발을 주도하고 있기 때문이다. 빅데이터를 제대로 활용하기 위해서는 사용자의 역할이 서비스 및 애플리케이션 공급업체보다 더 크다는 것이 관련 시장의 특징이다.

활용 사례
BBC는 시청자를 이해하고 관계를 형성하는 데 빅데이터를 활용하여 앱으로 방대한 시청정보를 분석해 시청자에게 맞춤형 방송을 제공했다. 또한 넷플릭스(Netflix)는 3백만 명 시청자를 대상으로 시청자들이 원하는 주연배우와 감독은 물론, 주제까지 빅데이터 분석으로 선정해 ‘하우스 오브 카드’를 자체 제작해 2013년 1/4분기에만 2백만 명의 신규 시청자를 확보했다.

아마존(Amazon)은 고객의 도서 구매 데이터를 분석해 특정 책을 구매한 사람이 추가로 구매할 것으로 예상되는 도서 추천 시스템을 개발하여 고객이 읽을 것으로 예상되는 책을 추천하면서 할인쿠폰을 지급했으며, 엔씨소프트는 기존 경영정보 분석 시스템과는 별도로 로그 분석만을 위해 하둡 기반 자체 시스템을 설계하여 계정도용과 같은 고객들의 민감한 민원에 적극 대처하고 불법 소프트웨어 사용 여부에 대해서 검출 알고리즘을 적용했다.
빅데이터와 제조업
맥킨지(2013)는 미국의 경우, 빅데이터 분석의 도입으로 2020년까지 GDP가 약 6,100억 달러 증가할 것으로 추정하고 빅데이터가 전반적으로 여러 산업에 걸쳐 기업과 소비자의 후생을 늘려 GDP를 증가시켜 경제 성장의 원동력이 될 것으로 분석했다. 예전에는 생산과정에서 발생하는 데이터의 양 자체가 적었을 뿐 아니라 역량 부족으로 제대로 활용되지 않고 버려지곤 했으나 빅데이터 기술의 발달에 힘입어 손실을 줄이고 생산성을 높이는 데 활용될 수 있다. 생산과정에서 빅데이터의 도입은 특히 센서의 발달에 의존하는 바가 크다.

제조 설비 및 엔지니어링 기구에 센서와 RFID가 장착됐기 때문에 작동시간, 압력, 온도, 기름양, 습기, 생산율, 폐기율, 수명, 고장 정보 등 기계가 사용되고 있는 환경에 대한 모든 필수적인 정보들이 관리자에게 전송된다. 관리자는 제품에 센서를 설치함으로써 제품이 생산되는 전 과정을 한자리에 앉아서 모니터링하면서 피드백하거나 혹은 기계들끼리 M2M 시스템을 통해 자동으로 작업지시가 이루어짐으로써 생산의 효율성이 높아진다. 일부 기업들은 이미 빅데이터 분석을 통해서 가시적인 비용절감 효과를 거둔 바 있다.

GE는 2012년에 프로세스의 자동화, 최적화, 정지시간 감축, 고장 시기 예측 등을 통해서 총수입에서 450억 달러의 이득을 보았으며 인텔은 예측적 분석(predictive analytics)을 활용하여 1개의 칩 생산설비에서 2012년 300만 달러의 제조원가의 절감을 이뤘다.
중요성 증대
아직 국내 빅데이터 기술은 아직 초기단계에 머물고 있지만, 페이스북, 애플, 구글과 같이 대용량 데이터를 수집하는 글로벌 ICT 기업들에게는 그 중요성이 더 증대될 것으로 예상된다. 또한 IT 서비스 기업 및 소셜 네트워크 분석 기업 등 관련 업계에서는 빅데이터 처리 및 가시화와 관련된 컴퓨팅 기능이나 인프라를 차별화하기 위해 주력하고 있다.
미래먹거리 빅데이터, 이용 활성화 본격 추진
미래창조과학부(이하 미래부)는 지난 5월 빅데이터 적용을 통한 이용 활성화 및 비즈니스 창출, 데이터 기반 과학적 미래전략 수립을 위한 2014년도 빅데이터 선도사업과 미래전략 컨설팅을 선정했다. 2014년에 추진하는 빅데이터 선도사업은 ▲유통 판매 데이터를 분석하여 동네슈퍼 등 중소상인을 지원하는 유통 빅데이터 기반 상품판매 분석 서비스 ▲카드 거래 데이터, 유동인구 분석을 통한 외국인 관광지원 서비스 ▲국민 질환 특성 분석을 통한 맞춤형 유의 질병 및 병원정보 제공 서비스 ▲자동차 부품 품질 향상을 위한 자동차 부품기업 공동 활용 빅데이터 플랫폼 구축 등 4개 과제로 산업 파급효과가 크고, 창업 연계 가능성이 높은 과제를 추진했다.
빅데이터는 미래먹거리이자 창조경제의 주요 엔진으로 창조기업 육성, 인터넷 신산업 시장 확대, 창의적 일자리 창출에 기여할 것으로 기대됨은 물론, 선도사업을 통해 빅데이터가 주요 산업에 확산할 수 있도록 추진하고 분석 또는 생산된 정보 등을 오픈데이터 형태로 공개 제공하여 데이터 기반 신규 비즈니스를 창출할 예정이다.

특히 이번 사업을 통해 생성되는 상품별 지역별 유통 분석정보, 관광 신규 트렌드 관광객 행동패턴 분석정보, 국민 질환 특성 데이터 등은 데이터 기반의 창업을 시도하는 스타트업 벤처기업 등에 창업 및 사업화에 활용할 예정이다. 미래창조과학부의 강성주 정보화전략국장은 “빅데이터가 주요 산업 발전의 촉매제가 되고, 신규 비즈니스 발굴, 창업 활성화 등을 통해 데이터 기반 미래전략 수립을 지속해서 추진하여 국정운영 패러다임의 변화를 유도할 것”이라고 설명했다.

오피니언

기술 리포트가 뜬다

스타트업이 뜬다

세미나/교육/전시

자료실