CEVA, 커스텀 신경망 엔진의 코프로세싱 지원

무선 커넥티비티 및 스마트 센싱 전문 기업인 CEVA는 벨기에 브뤼셀에서 개최된 오토센스(AutoSens) 컨퍼런스에서 엣지단에서의 심층 신경망 추론(Inference)을 위한 2세대 AI프로세서 아키텍처인 NeuPro-S와 업계 최초 커스텀 신경망 엔진을 지원하는 심층 신경망 컴파일러 기술인 CDNN-Invite API를 발표했다.

CDNN-Invite API는 통합된 신경망에 최적화된 런타임 펌웨어에서 고객이 보유한 신경망 엔진과 NeuPro-S 코어의 이종 코프로세싱을 지원한다. CDNN-Invite API와 함께 NeuPro-S는 자율주행, 스마트폰, 감시/일반 카메라, AR/VR 헤드셋, 로봇, 산업용 애플리케이션 등 엣지 AI 프로세싱이 필요한 비전 기반 디바이스에 적합하도록 개발되었다.

에지 디바이스에서 영상 및 이미지 안에 있는 목표 대상에 대한 분할(Segmentation), 탐지(Detection), 분류(Classification)를 위한 신경망을 최적으로 처리하도록 설계된 NeuPro-S는 시스템 인지 기능을 강화해 향상된 성능을 제공한다.

이러한 성능 향상은 외부 SDRAM과의 전송 비용을 절감하게 하는 멀티 레벨 메모리 시스템, 다중 웨이트 압축 옵션, 단일 및 통합 아키텍처에 CEVA-XM6 비전 DSP, NeuPro-S코어, 맞춤형 AI 엔진의 다양한 조합을 가능하게 하는 이종 확장성 등을 포함하고 있으며 이를 통해 NeuPro-S는 CEVA 1세대 AI 프로세서보다 평균 성능이 50% 상승했으며 40% 낮은 메모리 대역폭과 30% 낮은 전력 소비량을 달성했다.



데이터 대역폭, 전력 소비 등 근본 원인을 해결

NeuPro-S 제품군은 NPS1000, NPS2000, NPS4000을 포함하고 이는 한 사이클당 각각 1000, 2000, 4000씩 8-bit MAC연산을 수행할 수 있도록 사전 구성된 프로세서다.

NPS4000은 1.5GHz 에서 최대 12.5TOPS로 코어당 가장 높은 합성곱 신경망(CNN) 성능을 제공하고 최대 100TOPS까지 확장 가능하다.

점점 증가하는 다양한 애플리케이션에 특화된 신경망 및 프로세서를 다루기 위해 CDNN-Invite API는 고객이 설계한 신경망 엔진을 CEVA의 심층신경망(이하 CDNN) 프레임워크에 완벽하게 통합할 수 있다. 그 다음 CDNN은 각각의 CEVAXM6 비전 DSP, NeuPro-S 및 맞춤형 신경망 프로세서의 뛰어난 성능을 활용하기 위해 네트워크와 레이어를 전반적으로 최적화하고 개선한다.

CEVA 비전 사업부를 총괄하고 있는 일란 요나(Ilan Yona) 부사장은 “CEVA는 에지 디바이스를 위한 심층 신경망 프로세서와 최적화 기술 확산을 가속화하고 있다. NeuPro-S 아키텍처는 이러한 디바이스의 데이터 대역폭, 전력 소비 등에서 발생하는 문제의 근본적인 원인을 해결한다.”라며, “CDNNInvite API는 폭 넓은 지원과 사용 편의성을 통해 증가하는 신경망 기술 도입을 원하는 고객들의 진입장벽을 낮추었고 이로써 CEVA는 신경망 컴파일러 기술 분야의 막강한 경쟁력을 확보해왔다”고 말했다.