KAIST, 로봇 등 온디바이스 인공지능 실현 가능
자율주행차, 로봇 등 온디바이스 자율 시스템 환경에서 클라우드의 원격 컴퓨팅 자원 없이 기기 자체에 내장된 인공지능 칩을 활용한 온디바이스 자원만으로 적응형 AI를 실현하는 기술이 개발됐다.
KAIST(총장 이광형)는 전산학부 박종세 교수 연구팀이 지난 6월 29일부터 7월 3일까지 아르헨티나 부에노스아이레스에서 열린 ‘2024 국제 컴퓨터구조 심포지엄(ISCA 2024)’에서 최우수 연구 기록물상(Distinguished Artifact Award)을 수상했다고 밝혔다.
(위 왼쪽부터 시계방향) KAIST 전산학부 박종세 교수, 박종세 교수팀의 연구 발표 사진, 개발한 온디바이스 적응형 AI 신경망처리장치(NPU) 내부 구조, 자율 시스템 상의 연속학습 연산 작업 흐름
1. 연구 배경
온디바이스 AI는 제한적인 연산 및 메모리 자원으로 인해 경량화된 AI 모델을 사용하며, 또한 배포된 환경상의 입력 데이터 분포 변화(Data drift)로 인해 정확도가 저하되는 문제점을 가진다. 이를 해결하는 적응형 AI 방법론으로서 머신러닝, 시스템, 그리고 컴퓨터 아키텍처 분야에서는 최근 연속학습(Continuous learning) 기법 연구가 각광받고 있다. 연속학습은 AI 모델의 추론 뿐만 아니라 재학습 및 데이터 라벨링 작업을 한정된 온디바이스 자원에서 실행해야 한다.
2. 연구 내용
온디바이스 연속학습은 추론, 재훈련, 그리고 데이터 라벨링 작업이 필요하다. 이 세 가지 작업은 요구 연산량이 다양하며 제한적인 하드웨어 자원을 공유해야 한다. 연구에서는 공간적으로 분할이 가능한 신경망 처리 장치(NPU; Neural Processing Unit)를 개발하여 낮은 연산량을 요구하는 추론 작업에 최소한의 자원을 할당하여 입력 데이터의 추론 작업을 보장하며, 남은 하드웨어 자원을 높은 연산량을 요구하는 재훈련 및 라벨링을 시간적으로 공유할 수 있도록 설계하였다.
그림 1. 제시한 온디바이스 연속학습 시스템의 자원 할당 및 스케줄링 작업 알고리즘 흐름
3. 기대 효과
2024년은 다소 독립적으로 발전해 오던 인공지능과 온디바이스 자율 시스템 환경 관련 기술이 밀접하게 결합되어 기존에 없던 새로운 가능성을 만들어내는 원년이 될 것으로 보인다. 본 연구에서 제안하는 온디바이스 적응형 AI를 위한 신경망 처리 장치 기술은 이 비전을 현실화하는 초석 중 하나가 될 것이며, 이는 다양한 학문적 및 산업적 부가가치와 연결되어 많은 외화수익 및 일자리를 창출할 수 있을 것으로 기대한다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
.png)
