GPU 대비 5 배의 성능/16 배의 와트당 성능 달성


"전에는 인공지능 구현을 위해 GPU 대신 FPGA를 쓰면, 어떤 점이 좋은지 설명하기 힘들었지만 지금은 그렇지 않다. 굉장히 빠르게 발전하는 인공지능 기술을 지원하기 위해서는 바로 바로 원하는 내용을 프로그래밍해서 지원할 수 있는 FPGA가 장점이 크다.“
“FPGA를 이용해 AI 가속기를 개발하게 된 배경은 저 전력(Low Power) 소모, 저 지연(Low Latency) 환경에서는 FPGA가 강점이 있다고 판단했기 때문이다. CPU는 인텔이, GPU는 엔비디아가 강자라면 FPGA는 자일링스가 강자가 아닌가” 
지난 16일, SK텔레콤과 자일링스의 공동 기자 간담회 자리에서 양사의 관계자는 인공지능과 FPGA(field-programmable gate array) 반도체의 상호 필요성에 대해 집중적으로 설명해야 했다.
  앞서 자일링스는 SK텔레콤의 데이터 센터 인공지능(AI) 가속기 개발에 자사의 FPGA를 적용했다고 밝혔기 때문이다. 자일링스의 킨텍스(Kintex) 울트라스케일(UltraScale) FPGA는 현재 SK텔레콤의 음성인식 플랫폼인 누구(NUGU)를 가속화하기 위해 SK텔레콤의 자동 음성 인식(ASR, automatic speech recognition) 애플리케이션을 구동하고 있다. 양사는 한국에서 대규모의 데이터 센터를 위해 AI 도메인에서 FPGA 가속기를 상용 채택한 최초의 사례라고 의미 부여했다. 

그렇다면 인공지능 시스템에 FPGA가 필요한 이유는 무엇일까. 자일링스 라민 론 부사장의 설명을 더 들어보자.

“인공지능 발전 속도는 굉장히 빨라져 한 달에 하나의 새로운 기술이 탄생하고 있다. 프로세싱은 더 잘하면서 전력소모와 발열이 적은 네트워크를 필요로 하는데 이를 지원할만한 실리콘칩은 제대로 대응하고 있지 못하고 있다. 새로운 인공지능 기술이 만들어져도 기존의 GPU나 CPU ASIC이 못 따라가고 있다. 이 때문에 프로그래밍해서 쓸 수 있는 FPGA의 수요가 크게 늘어나고 있다. 하드웨어 아키텍처 수준에서 원하는 내용을 곧바로 구현할 수 있기 때문이다. 기존에 가지고 있는 오래된 FPGA도 새롭게 프로그래밍하는 것만으로도 새로운 딥러닝 기술을 도입할 수 있는 장점이 있다.” 

간담회장에 참석한 SK텔레콤의 이강원 기술원장도 이에 동의한다. “저희가 개발한 AI 가속기(AIX, AI Inference Accelerator)는 하이레벨 아키텍처인데, 자일링스의 FPGA에 아키텍처를 구현했다. 여러 종류의 정적최적화, 동적최적화를 구현하기 위해 굉장히 많은 노력을 했다. 또한 자일링스 FPGA의 DSP를 95% 이상 활용했다. 보통 사용되는 DSP의 레인지가 60~70% 정도라는 것에 비해 높은 비율이다. 그만큼 FPGA를 최적화해서 사용했다.”
 
특히 SK텔레콤에서 주목한 것은 성능과 전력 소모 면이다. 이 원장은 이에 대한 데이터 수치도 제시했다. “ SK텔레콤이 구현한 FPGA 통해 얻은 성능 수치를 보면, 전체적인 쓰루풋 성능 면에서 FPGA 기반 AI 가속기가 GPU를 이용했을 때보다 5배의 성능 향상을 나타냈다. 전력 소모도 FPGA의 경우는 75W를 소모할 때, GPU는 250W를 썼다, GPU가 3배 이상 전력을 더 소모하는 것을 볼 수 있는데 이는 와트당 16배 성능 향상을 나타낸 것이다.” 

FPGA 기반 가속기는 기존 CPU 전용 서버에 자일링스 FPGA 애드 인(Add-In) 카드를 추가하여 ASR 애플리케이션 서버의 총 소유 비용(TCO)을 낮춰 준다. ASR 서버는 빈 슬롯에 자일링스 FPGA 카드를 사용하여 쉽고 간단하게 여러 음성 서비스 채널을 가속화한다. SK텔레콤은 향후에는 ASR 외에도 ‘Natural Language Processing', 'Video Recognition'와 TTS(Text-To-Speech), 인텔리전스 부분의 Conversation 등에도 FPGA를 적용해 나갈 예정이다. 

  AI 비서 뿐만 아니라 앞으로, Video Surveilance 분야에도 하이엔드 FPGA를 이용할 계획이라고 이 원장은 밝혔다. 이를 적용한 클라우드 시스템을 통해 ‘폴스 알람’ 비율을 낮춰 서비스 경쟁력을 강화하겠다는 방침이다. 

라민 론 부사장은 “SK텔레콤의 벤치마크 결과로도 알 수 있지만 FPGA가 GPU보다 더 뛰어난 성능을 자랑하고 있다”며, “향후엔 양사는 앞으로 다른 워크로드로도 협력 분야를 늘려갈 예정이고 기존의 FPGA의 DL 기술을 이용함으로써 가장 큰 장점을 누릴 수 있다”고 말했다.  

이강원 기술원장도 “(AI 가속기 개발이) 굉장히 좋은 협력 사례”라고 강조했다. “자일링스는 세계 1위의 FPGA 업체이고, 굉장히 좋은 기술로 지원해 줬다. 엔지니들이 최적화를 잘해 좋은 결과 만들었고 이게 시작점이 될 것이다.”