앞선 기술, 제품 및 서비스 전문성을 기반으로 구성된 업계 최초의 '설계 패턴' 접근법을 통해 비즈니스 사용자, 데이터 사이언티스트, IT 전문가들이 데이터 레이크를 보다 용이하게 구축하여 비즈니스 가치를 향상시킬 수 있도록 지원

빅데이터 분석 및 마케팅 애플리케이션 분야의 세계적인 선두 기업인 한국테라데이타(www.teradata.kr, 대표 최승철)는 빅데이터 컨설팅 및 최적화 분야에서 쌓아온 다년간의 경험을 바탕으로 ‘데이터 레이크’ 구축을 위한 새로운 '설계 패턴(design pattern)' 접근법을 발표했다고 4일 밝혔다. 업계 최초로 발표되는 이 '설계 패턴' 접근법은 비즈니스 사용자, 데이터 사이언티스트, IT 전문가들이 데이터 레이크를 보다 용이하게 구축해 비즈니스 가치를 향상시킬 수 있도록 지원한다.

조직들은 증가하는 데이터에서 통찰력을 얻고, 새로운 비즈니스 기회를 만들어내기 위해 데이터 레이크를 활용하고 싶어하나, 모범 사례 및 데이터 사이언티스트의 부족, 데이터 레이크 정의에 대한 혼동 등 여러 문제들로 인해 많은 어려움을 겪고 있다. 또한, 기술 선택의 문제도 어려움을 배가시킨다. 예를 들어 데이터 레이크는 전통적으로 하둡과 밀접한 것으로 인식되고 있다. 하둡이 여러 데이터 레이크 워크로드를 위한 적합한 기술인 것은 사실이나, 데이터 레이크는 하둡 외에 NoSQL, 아마존 심플 스토리지 서비스(Amazon Simple Storage Service: Amazon S3), RDBMS(relational database) 또는 이들의 조합 등 다양한 기술을 기반으로 구축할 수 있다.

적합한 기술의 선택이 결과에 매우 중요한 영향을 미치는 만큼 데이터 레이크가 성공하려면 확실한 계획이 필요한데, 데이터 레이크 설계 패턴이야말로 바로 그 계획의 역할을 담당하고 있다. 설계 패턴은 지속적인 고객 참여를 통해 개발된 제품들과 결합된 엔터프라이즈급 베스트 프랙티스 기반의 지적 재산(intellectual property)으로 구성되어 있다.

시장조사기관 오범(Ovum)의 선임 애널리스트 토니 베어(Tony Baer)는 “테라데이타는 데이터 레이크를 위한 실행 패턴을 정의하는데 있어 업계 선두의 위치에 있다”라며 “데이터 레이크는 운영 데이터 스토어와는 다르다. 테라데이타의 가치 제안은 이종(heterogeneous) 컴퓨팅 환경에서의 고객들의 데이터 관리를 지원해온 실전 경험을 바탕으로 한 것이다. 테라데이타는 씽크빅(Think Big) 인수를 통해 데이터 레이크를 용이하게 구축할 수 있는 설계 패턴을 제안할 수 있게 됐다”라고 말했다.

테라데이타의 자회사 씽크빅(Think Big) 대표인 론 보드킨(Ron Bodkin)은 “데이터 레이크 실행이 어렵다는 인식이 지배적이다. 그러나 우리가 성장하는 이유가 이 때문이다. 우리는 데이터 레이크의 성공적인 실행을 위해 기업들을 지원하고 있다”라며 “우리는 고객의 상황에 맞게 데이터 레이크 설계 패턴 접근방식을 조정하고 있으며, 이러한 패턴 및 지원 소프트웨어 프레임워크는 강력한 가치 가속기(value accelerators)로서의 역할을 하고 있다. 우리는 고객들이 위기 모드에서 벗어나도록 돕고, 비즈니스, IT 및 데이터 사이언티스트들이 데이터 레이크를 계획, 실행하여 실제적인 비즈니스 가치를 창출하고 다양한 이점을 얻을 수 있도록 지원한다”라고 말했다.

씽크빅(Think Big)은 설립 초기부터 중립적인 기술 및 플랫폼을 지속적으로 선보여 왔으며, 아파치 하둡(Apache™ Hadoop^®), 아파치 스파크(Apache Spark™), NoSQL과 같은 오픈 소스 기술을 통해 실제적인 가치를 창출하는데 주력하고 있다.

씽크빅(Think Big)이 제공하는 데이터 레이크 설계 패턴 서비스는 데이터 레이크를 막 시작했거나 베스트 프랙티스 컨설팅을 원하는 조직을 위한 ‘데이터 레이크 파운데이션(Data Lake Foundation)’, 데이터 레이크 베스트 프랙티스 및 기술 선택에 대한 조언을 구하는 조직들을 위한 ‘데이터 레이크 아키텍처(Data Lake Architecture)’, 분석 사이클 실행을 위해 데이터 준비(data preparation)를 지원하는 ‘데이터 레이크 분석(Data Lake Analytics)’이 있다.

씽크빅(Think Big)은 HGST, 웨스턴디지털(Western Digital)을 포함해 다수의 글로벌 선두 기업들이 데이터 레이크 및 하둡, 빅데이터를 설계, 실행할 수 있도록 지원하고 있다.

테라데이타는 데이터 레이크 환경에서 함께 사용할 수 있는 인텔리전트한 셀프서비스 소프트웨어 솔루션을 통해 빅데이터 스트리밍을 데이터 레이크로 단순화시켜주는 ‘테라데이타 리스너(Teradata Listener)’, 낮은 비용으로 데이터를 저장할 수 있는 ‘하둡을 위한 테라데이타 어플라이언스(Teradata Appliance for Hadoop)’, 최신 SQL-온-하둡(SQL-on-Hadoop) 아키텍처를 제공하는 프레스토(Presto), 로컬 서버에서 하둡으로 데이터 이동을 효율적으로 조율하며, 파이프라인 컨트롤러(Pipeline Controller) 및 버퍼 서버(Buffer Server)로 불리는 데이터 데이터 레이크 액셀러레이터(data lake accelerators) 등 여러 제품 및 기술들을 제공하고 있다.