MIMD 아키텍처로 세밀한 연산 처리, AI 연산에 최적화

그래프코어는 AI 연산에 특화된 첨단 IPU(Intelligence Processing Unit) 반도체로 구동하는 AI를 위한 컴퓨터 시스템을 제조하고 있다.

한국에는 2020년 한국지사를 설립하면서 공식 진출했다. 그래프코어의 IPU는 기존과는 다른, 완전히 새로운 형태의 실리콘 아키텍처이다. 신개념 컴퓨팅을 위해 설계된 그래프코어 IPU 시스템은 현재 제약, 금융 서비스, 자동차, 소비자용 인터넷 서비스 등 다양한 업계의 기업과 공공기관 및 학계에서 널리 활용되고 있다.
 

강민우 한국 지사장, 그래프코어

"GPU가 굉장히 적합한 특정 AI 워크로드가 있는데, 여기서 IPU는 그와 동등하거나 혹은 그 이상의 성능을 낼 수 있다. (중략) 서버 분야에서는 당연히 CPU가 지배적일 것으로 본다. 다만 AI가 CPU 워크로드를 점진적으로 대체해 나가고 있는 HPC 분야에서는 이야기가 달라질 수 있겠다."


그래프코어는 세콰이어캐피탈(Sequoia Capital), 피델리티 인터내셔널(Fidelity International), BMW 아이벤처스(BMW iVentures), 델, 마이크로소프트, 삼성 등 전 세계 유명 기술 투자사를 비롯해 딥마인드(Deepmind) 공동 창업자 데미스 하사비스(Demis Hassabis), 오픈 AI의 그렉 브록맨(Greg Brockman), 일리야 수츠케버(Ilya Sutskever), 피터 애빌(Pieter Abbeel), 스콧 그레이(Scott Gray) 등의 AI 분야의 혁신가들로부터 투자를 이끌어낸 바 있다.

강민우 그래프코어 한국 지사장에게 물었다. 그래프코어의 경쟁력이 어디에서 나오는지. 다음은 질문에 대한 답변이다.


Q.  AI 연산에 특화된 IPU 반도체의 탄생 또한, 그 배경에는 복잡하고 정교한 대규모 연산 처리의 필요성이 높아졌기 때문이다. 기존에 주로 활용된 CPU나 주류인 GPU가 한계에 달했기에 이른바, 다양한 xPU 시대가 열린 것 같다. 인공지능 시대와 xPU 등장의 배경부터 설명한다면.

A.  컴퓨팅의 발전은 궁극적으로 특수 반도체의 등장을 야기했다. GPU는 컴퓨터 그래픽의 혁신을 일으켰고, 저전력 ARM 프로세서가 출시되면서 지금의 모바일 기기들이 구현됐다. 같은 맥락에서, 현재 AI가 도달해 있는 성숙도를 고려하면 AI 연산에 특화된 프로세서의 등장은 당연한 결과로 볼 수 있다.

그래프코어의 IPU는 AI 연산의 많은 부분을 고려해 설계됐다. 그중에서도 가장 중요한 점은 AI는 높은 수준의 병렬 연산뿐만 아니라 복수의 병렬 연산도 요구된다는 것이다. GPU는 대규모 병렬 연산 처리를 위해 설계되었지만, SIMD(Single Instruction Multiple Data, 단일 명령 다중 데이터) 아키텍처로 설계되어, 대규모 벡터 데이터로 동일한 수학적 연산을 진행한다. 픽셀 색깔을 구분하는 작업을 그 예로 들 수 있다. 반면, IPU는 MIMD(Multiple Instruction Multiple Data, 다중 명령 다중 데이터) 아키텍처로 아주 높은 수준의 세밀한 연산 처리를 자랑한다. 이러한 미세조정 병렬화(fine-grained parallelism)는 IPU가 AI 연산에 최적화된 대표적인 이유 중 하나다.


Q.  그런 배경에서 그래프코어의 IPU가, CPU나 GPU와 다르게 인공지능 반도체에서 가장 큰 차별성은 무엇인가.

A.  IPU의 차별성은 특정 몇몇 기능보다는 애초부터 AI를 위해 특별 설계된 연산 시스템을 갖췄다는 그 자체로 설명될 수 있다. 오늘날 가장 흔히 쓰이는 AI 접근방식은 아직 GPU 기능을 중심으로 이루어져 있지만, 그래프코어는 사용자들이 IPU를 통해 성능, 정확성, 효율성 모든 측면을 개선할 수 있는 새로운 방법을 모색하도록 돕고 있다. 일례로, 많은 그래프코어 고객들은 그래프 신경망(GNN)을 활용하고 있다. 이는 비교적 최신 AI 모델로, IPU는 고유의 아키텍처가 가진 그 특성상 어떤 프로세서보다 GNN 모델에서 뛰어난 성능을 구현한다.


Q.  그래프코어 IPU의 포지션(제품 전략)에 대한 질문입니다. IPU가 CPU나 GPU의 대체 시장이 아니라고 되풀이하며 강조했는데, 지금도 그 답변은 변함이 없는지, 실제로 시장 상황은 어떤가.

A.  GPU가 굉장히 적합한 특정 AI 워크로드가 있는데, 여기서 IPU는 그와 동등하거나 혹은 그 이상의 성능을 낼 수 있다. 특히, 그래프코어 IPU가 GPU 대비 5배~10배 뛰어난 성능을 보이는 특정 모델이 있는데, 우리 고객들이 가장 많은 관심을 보이는 분야이기도 하다. 여기에는 보통 GNN, MoE(Mixture of Experts), 희소 모델과 같이 최근 떠오르고 있는 최첨단 모델이 해당된다. 서버 분야에서는 당연히 CPU가 지배적일 것으로 본다. 다만 AI가 CPU 워크로드를 점진적으로 대체해 나가고 있는 HPC 분야에서는 이야기가 달라질 수 있겠다.
 

"현재 그래프코어의 전 세계 많은 고객들이 테스트 및 개념증명(POC) 단계를 넘어 IPU의 완전한 도입을 추진 중이다. 전반적으로 성장세를 보이는 가운데, 앞으로 더 많은 성장이 예상되는 분야는 정부 차원에서 컴퓨팅 인프라를 구성하는 공공 연구소나 컴퓨팅 시설이다."

Q.  기능 외에 가격 경쟁력도 중요할 것 같다. 다른 xPU 솔루션과 비교하면.

A.  그래프코어 고객들은 GPU 기반의 솔루션을 사용했을 때보다 그래프코어 시스템을 사용했을 때 더 나은 가격 대비 성능을 지속적으로 경험하고 있다. 업계의 기준으로 보는 MLPerf 벤치마크에서 타사 AI 컴퓨팅 시스템과 비교했을 때도 이러한 부분이 확연히 드러나고 있다. 실행되는 모델의 종류에 따라 그 수준이 조금씩 다르긴 하지만, IPU 시스템은 상대적으로 가격이 35더 비싼 GPU 시스템보다 4배~5배 더 나은 가격 대비 성능을 제공한다.

이는 고객들이 각자의 환경에 맞게 IPU가 제공하는 이점을 누릴 수 있다는 의미이기도 하다. 페타플롭스(PetaFLOPs) 범위에서 특정 수준의 AI 컴퓨팅 성능을 구현한다고 예를 들어보자. IPU를 활용하면 GPU를 사용할 때보다 적은 비용으로 가능하며, 또는 같은 비용으로 더 많은 컴퓨팅 파워를 누릴 수 있다.


Q.  2년 전 한국지사를 설립할 때, 한국 대학이나 연구소와 긴밀한 관계를 구축해 나갈 것이라고 했는데, 현재의 상황은 어떤가.

A.  그래프코어는 과학기술정보통신부의 지원을 받아 고효율 AI 컴퓨팅을 위한 새로운 소프트웨어 접근법을 개발 중인 한국전자통신연구원(이하 ETRI)와 다년간의 파트너십을 최근 체결하였고, 이외 다양한 분야에서 대학 및 국가 연구소와 협의하고 있다. 이런 기관들과 협의하고 있는 분야는 제약개발, 질병확산 추적, 교육 등 다양한 분야이며, 이를 지속적으로 확장할 계획이다.


Q.  자동차도 인공지능 반도체의 주요한 시장이다. 자동차 시장에는 어떤 부분에 적용되는지.

A.  그래프코어 시스템은 현재 자동차를 위해 AI를 훈련하는 데이터센터나 클라우드에서 추론을 수행하는 데 가장 많이 활용되고 있다. 아직 공식적으로 발표한 바는 없지만, 다수의 자동차 제조업체와도 협력하고 있다. 현재로서는 차 내(in-car) 시스템을 개발할 계획은 없다.


Q.  클라우드 서비스도 제공하고 있다고 하는데, 제공하게 된 동기와 고객 입장에서는 어떠한 이점을 얻을 수 있는가.

A.  IPU 클라우드 서비스를 제공하는 이유는 각 사용자의 니즈에 맞게 AI 컴퓨팅을 최적화할 수 있는 유연성을 제공함으로써 진입장벽을 낮추기 위함이다. 모든 사용자가 자신만의 데이터센터를 갖추지는 않기 때문이다. 그래프코어가 한 가지 주목하고 있는 점은 금융기관과 같이 기존에는 온프레미스 환경을 고집했던 고객들이 점차 AI 컴퓨팅 솔루션을 위해 클라우드를 고려하고 있다는 것이다.


Q.  그래프코어가 지향하는 궁극적인 가치는.

A.  그래프코어는 머신 인텔리전스의 새로운 혁신을 이끌고자 한다. 이를 위해서는 그래프코어 시스템을 활용하는 우리 고객들의 역할도 매우 중요하겠지만, 그래프코어는 새로운 모델과 기술을 가능케 하는 AI 컴퓨팅 플랫폼을 구축함으로써 이러한 노력을 가속화할 수 있을 것으로 믿는다. 또한, AI 모델이 점점 커지고 정교해지고 있는 가운데, IPU 시스템이 제공하는 효율성에는 최신 AI 모델을 뒷받침하는 컴퓨팅 요구사항이 통제를 벗어나지 않도록 하는 것도 포함된다.

Q.  개인적으로 달성하고 싶은 목표치나 욕심나는 시장이 있다면.

A.  현재 그래프코어의 전 세계 많은 고객들이 테스트 및 개념증명(POC) 단계를 넘어 IPU의 완전한 도입을 추진 중이다. 전반적으로 성장세를 보이는 가운데, 앞으로 더 많은 성장이 예상되는 분야는 정부 차원에서 컴퓨팅 인프라를 구성하는 공공 연구소나 컴퓨팅 시설이다.

그래프코어는 최근 아르곤, 샌디아, PNNL 등 미국 에너지부 산하의 국립 연구소가 IPU를 도입했다는 소식을 발표한 바 있다. 비슷한 맥락에서 영국에서는 EPCC 슈퍼컴퓨터 센터와 영국 과학기술 시설위원회(Science and Technology Facilities Council)와 협력하고 있다. 그리고 7월, 한국 최대 정보통신 국책 연구기관 한국전자통신연구원(ETRI)과의 파트너십을 발표하기도 했다.