TinyML에 최적화된 새로운 Ceva-NeuPro-Nano NPU 공개

Ceva가 자사의 Ceva-NeuPro(뉴프로), 에지 AI NPU 제품군을 확장한 Ceva-NeuPro-Nano(뉴프로-나노) NPU를 공개했다.

이 NPU는 고효율 및 독립형 NPU로, 반도체 기업 및 OEM 업체가 가전, 산업, 및 범용 AIoT 제품에 사용되는 시스템온칩(SoC)에 TinyML 모델을 통합하는 데 필요한 전력, 성능 및 비용 효율성을 제공한다.
 
TinyML은 리소스가 제한된 저전력 디바이스에 머신러닝 모델을 실행하여 AI 기능을 IoT에 적용하는 것을 의미한다. IoT 디바이스에서 효율적이고 전문화된 AI 솔루션에 대한 수요가 증가함에 따라 TinyML 시장은 급성장하고 있다. 

새로운 Ceva-NeuPro-Nano 임베디드 AI NPU 아키텍처는 신경망(Neural Network), 특징 추출(Feature extraction), 제어 코드 및 DSP 코드를 효율적으로 실행할 수 있도록 프로그래밍이 가능하며, 네이티브 트랜스포머 계산(native transformer computation), 희소성 가속(sparsity acceleration) 및 빠른 양자화(quantization) 등 최신 머신러닝 데이터 형식 및 연산을 지원한다.

Ceva-NeuPro-Nano NPU는 이러한 최적화된 독립형 아키텍처를 통해 CPU 또는 DSP와 AI 가속기를 함께 사용하는 기존의 TinyML 워크로드 프로세서 솔루션과 비교해 더 작은 실리콘 풋프린트로 최적의 성능 및 뛰어난 전력 효율성을 제공한다. 또한 Ceva-NetSqueeze AI 압축 기술을 통해 중간 압축 해제 단계 없이 압축된 모델 가중치를 직접 처리해 메모리 풋프린트를 최대 80%까지 줄일 수 있어 오늘날 AIoT 프로세서가 다양한 분야의 제품에 더 널리 사용될 수 있도록 돕는다.

Ceva의 채드 루시엔(Chad Lucien) 센서 및 오디오 사업부 부사장 겸 총괄 매니저는 “Ceva-NeuPro-Nano는 기업이 저전력 IoT SoC 및 MCU에 TinyML 애플리케이션을 쉽게 통합할 수 있도록 하며, 이는 스마트 에지 디바이스에 연결, 감지 및 추론 기능을 지원하는 Ceva의 전략과 맞물려 있다. Ceva-NeuPro-Nano NPU 제품군은 더 많은 기업들이 AI를 최첨단으로 끌어올려 고객에게 더 많은 가치를 제공하는 고급 기능을 갖춘 지능형 IoT 디바이스를 만들 수 있도록 지원한다”고 말했다.

또한, “Ceva는 무선 IoT 커넥티비티 분야에서의 업계 선도적인 위치와 오디오 및 비디오 센싱(vision sensing) 분야의 강력한 전문 지식을 통해 고객이 TinyML의 잠재력을 최대한 활용하여 혁신적인 솔루션 개발, 사용자 경험 향상, 효율성 개선 및 더 스마트하고 연결된 환경 구축에 기여하는 등 다양한 혜택을 누리고, 더 나은 제품 및 서비스를 제공할 수 있도록 지원한다”고 말했다.

저전력 IoT SoC 및 MCU에 TinyML 애플리케이션 쉽게 통합

Ceva-NeuPro-Nano NPU는 32개의 int8 MAC을 갖춘 Ceva-NPN32와 64개의 int8 MAC을 갖춘 Ceva-NPN64 총 두 가지 구성으로 제공되며, 두 구성 모두 압축된 모델 가중치를 직접 처리하기 위한 Ceva-NetSqueeze 기술이 적용됐다. Ceva-NPN32는 음성, 오디오, 객체 탐지 및 이상 탐지(anomaly detection)를 위한 대부분의 TinyML 워크로드에 최적화됐다.

Ceva-NPN64는 가중치 희소성(weight sparsity), 더 큰 메모리 대역폭 및 더 많은 MAC 사용과 4비트 가중치 지원을 통해 성능을 2배로 향상시키며, 이를 통해 객체 분류, 얼굴 감지, 음성 인식 및 건강 모니터링 등 보다 복잡한 온디바이스 AI 사용 사례에 향상된 성능을 제공한다.

이 두 가지 NPU는 AI 소프트웨어 개발 키트(SDK) Ceva-NeuPro Studio와 함께 제공된다. Ceva-NeuPro Studio는 통합 AI 스택으로, 전체 Ceva-NeuPro NPU 제품군에 걸쳐 공통 툴 세트를 제공하고 마이크로컨트롤러용 텐서플로 라이트(TensorFlow Lite for Microcontrollers, TFLM)와 마이크로TVM(μTVM)과 같은 오픈 AI 프레임워크를 지원한다.