- 스팍 M7 보안용 오픈 플랫폼에 탑재된 데이터 분석 가속기, 소프트웨어 인 실리콘 기술 활용해 데이터 분석의 혁신 구현

오라클(http://www.oracle.com/kr)은 소프트웨어 인 실리콘 개발자 프로그램을 통해 스팍(SPARC) 프로세서에 내장된 데이터 분석 가속기(Data Analytics Accelerator, DAX) 코프로세서를 위한 무료 오픈 애플리케이션 프로그래밍 인터페이스(API) 및 개발자 키트를 발표했다. 이를 통해 오라클은 개발자들에게 차세대 빅데이터 분석 플랫폼을 설계할 수 있는 권한을 부여했다. 또한 해당 개발자 프로그램은 개발자들이 DAX의 활용 사례와 프로그램 코드를 살펴보고, 소프트웨어 인 실리콘 기술을 시험하는 동안에 서버에서는 분석 애플리케이션들이 가속화해 작동하는 경로를 시험 및 입증할 수 있도록 한다.

오라클 시스템 사업부 총괄 존 파울러(John Fowler) 수석 부사장은 “클릭 현황 데이터, 소셜 미디어 사용자 분석 및 구매 패턴 분석 등 다양한 주요 활용사례들을 분석하는 데 있어서는 고성능 데이터 분석이 매우 중요하다”며 “오라클은 데이터 분석 가속화 기능을 프로세서들 안에 통합시켜 초당 1,700억 줄의 전례 없는 최고 데이터 스캔 속도의 환경을 제공하게 됐고 따라서 이제 개발자들은 오라클의 소프트웨어 인 실리콘 환경을 통해 분석 영역의 해결되지 않은 다양한 종류의 과제들을 오라클의 DAX 기술로 효과적으로 해결 방안을 찾을 수 있게 됐다”고 밝혔다.

오라클은 32 코어, 256 스레드 스팍 M7 프로세서(32-core, 256 thread SPARC M7 processor)의 출시를 통해 프로세서 설계 시 주요 소프트웨어 기능을 구현함으로써, 소프트웨어 인 실리콘 기능들을 구현해냈다. DAX는 스팍 M7의 혁신적인 소프트웨어 인 실리콘으로 프로세서에 도입된 새로운 혁신 역량들 중 하나이며, 현존 최고 분석 효율성을 제공한다.

스팍 M7 프로세서 기반 데이터 분석 가속화

DAX는 매우 빠른 성능의 스캔, 추출, 선택, 그리고 해석 등의 기능을 선택적으로 추가 제공한다. 스팍 M7 DAX는 표준 컴퓨트 코어들로부터 분리된 전용 물리적 장치에서 구동돼 있는 기술로 다양한 분석 요소들을 가속화한다.

오라클은 데이터베이스 12c(Oracle Database 12c) 및 오라클 테이터베이스 12c에서 동작하는 모든 애플리케이션들에 DAX 기능이 적용 되도록 구현했다. 이로써 현재 모든 오라클, ISV 및 고객 애플리케이션들에 분석 가속화가 확장 지원된다.

대규모 스캔 및 필터 기능은 캐시와 디램 사이에서 초당 160GB까지의 메모리 버스 속도로 운용되는 스팍 마이크로프로세서 기반 32개의 전용 DAX 코프로세서들을 활용해 손쉽게 구현된다. 최고 수준의 성능과 효율성 구현을 위해 최초로 칩에서 작동하는 이러한 가속기들은 오라클 솔라리스 11(Oracle Solaris 11)이 제공하는 API를 통해 개발자들이 이용할 수 있으며 다양한 활용사례들에 적용할 수 있다.

데이터 분석 가속기를 머신러닝과 빅데이터 활용사례들에 통합시키는 중요한 예로, 오라클 엔지니어들은 DAX가 아파치 스파크 환경에서 괄목할 만한 성능을 보였다고 입증했다. 아파치 스파크는 현재 대규모 데이터 세트들을 처리하기 위해 가장 많이 사용되는 방법이다. 이 프로젝트에서 엔지니어들은 DAX를 아파치 스파크와 함께 사용해서 100억 줄의 데이터를 메모리 안으로 읽어오고, 이를 3D 큐브로 매우 신속히 옮겨 인터랙티브한 데이터 분석을 구현하였다.

스팍 M7 및 DAX의 설계 이점들은 다음과 같다.

· 업계 선도적인 메모리 대역폭 : 스팍 M7 프로세서는 업계 선도적인 초당 160GB의 메모리 대역폭을 지원해 프로세서 코어들뿐 아니라 DAX 장치들의 작동에 필요한 충분한 용량을 제공한다.

· DAX 오프로드 : 프로세서 코어들의 다른 프로세싱을 위해 주요 데이터 기능들을 DAX로 넘긴다.

· 인메모리 프로세싱과 결합된 효율적인 압축 해제 : DAX 장치 안에 압축해제 기능을 넣는 것이 소프트웨어 구현으로 제공하는 것보다 훨씬 빠르다. 이런 스캐닝 방식의 압축해제 설계는 메모리로 왔다 갔다 하는 불필요한 데이터 통신을 없앨 수 있다. 또한 이런 DAX로부터 얻은 결과들은 CPU 캐시에서 운영함으로써 더 향상된 CPU의 효율성을 제공한다.

· DAX 레인지 비교 : 현실에서 대부분의 데이터베이스 분석 쿼리들은 특정한 날짜들 혹은 제품 원가 등의 범위 사이에 거래된 데이터를 찾기 위해 쓰인다. DAX는 개별 정보 검색, 비교들과 동일한 비율로 여러 범위의 분석들을 동시에 처리할 수 있다. 다른 프로세서들은 이런 각각의 비교 분석에 있어서는 추가적인 계산 시간을 필요로 하게 된다.

· 캐시 오염 방지 : DAX는 중간 데이터를 캐시에 저장하지 않도록 계산 대부분을 수행하고, 다른 프로세싱을 위해서 캐시를 남겨둔다.

개발자 커뮤니티 및 선도적 고등 교육 기관들과의 파트너십

오라클은 기존의 워크로드의 성능을 향상시키기 위해 경쟁 제품 대비 뛰어난 성능을 제공하는 20개 이상의 세계 기록들과 함께 지속적으로 프로세서의 기능 개선을 제공해왔다. 소프트웨어 인 실리콘 기술은 더 향상된 성능과 효율성으로 처리하는 기능으로 특정한 알고리즘들을 프로세서에 탑재시켜, 보안 및 데이터 분석과 같은 영역들에서 요구되는 이전에는 도달할 수 없었던 불가능한 단계의 기능 향상을 추가로 제공하고 있다.

또한 오라클은 DAX와 아파치 스파크를 통합해서 제공한 예시뿐 아니라, 개발자 생산성을 극대화하고 프로젝트의 신속한 처리를 돕는 몇 가지 코드 샘플들도 활용사례들과 함께 공개했다. 관련 리소스들은 개발자들 및 연구원들에게 소프트웨어 인 실리콘 기술에 대한 직접 접근을 제공하는 무료 클라우드 서비스인 오라클 소프트웨어 인 실리콘 클라우드(Oracle Software in Silicon Cloud)를 통해 제공된다. 이밖에도 추가적으로 오라클은 브라운 대학처럼 선도적인 고등 교육 기관들과 함께 소프트웨어 인 실리콘을 포함한 혁신적인 연구 프로젝트들을 함께 진행하고 있다.

브라운 대학 컴퓨터공학과 학장 위구르 센티메넬(Ugur Centimenel)은 “우리는 최근 DAX의 주요 성능을 모던 인메모리 데이터 레이아웃 구조에 걸쳐 특징화하는 작업을 진행 중이다. 이번 연구를 마친 후 우리는 투플웨어(Tupleware) 주기억 데이터베이스 시스템 및 에스-스토어(S-Store) 실시간 스트림 처리 시스템과 함께 인터랙티브 데이터 탐색 및 시각화를 가속화하는 데 있어서의 DAX의 최적화 사용에 대해 연구할 것”이라며 “ 이러한 연구들을 통해 우리는 대규모 데이터 세트에 관련된 상세 검색 및 머신 러닝에 연관된 실제 워크로드들에 있어서 M7과 DAX가 가진 성능과 확장성을 수량화 할 것”이라고 말했다.

오라클의 데이터 분석 가속기를 위한 오픈 API들은 현재 소프트웨어 인 실리콘 클라우드를 통해 무료로 이용 가능하다. 개발자들은 차세대 빅데이터 및 분석 애플리케이션들의 개발을 시작하기 위해 지금 소프트웨어 인 실리콘 개발자 프로그램 커뮤니티에 참여할 수 있다.