영국 반도체 설계자산(IP) 기업인 ARM은 Mali Camera 제품군의 첫 제품인 ARM Mali-C71 영상 처리장치(ISP, Image Signal Processor)를 출시한다고 발표했다. 신규 Mali-C71 프로세서는 열악한 조명이나 기상 조건에 적응해야 하는 첨단 운전자 보조 시스템(ADAS, Advanced Driver Assistance Systems)용 SoC를 위해 설계됐다.

자동차는 기술이 발전함에 따라 단순히 이동을 위한 4개의 바퀴가 달린 금속 상자에서 벗어나, 혁신을 위한 역동적인 플랫폼으로 변모했다. 이러한 혁신은 운전자 경험을 변화시킬 뿐 아니라, 진정한 자율주행 기술을 구현할 수 있도록 이끌고 있다. 자동차 기술의 발전 과정에서 ADAS 기능은 필수적이다. 차량 미러 대체, 졸음 운전 감지, 보행자 보호 시스템과 같은 새로운 ADAS 애플리케이션으로 인해 보다 향상된 이미지 처리 기술이 차량 내에서 가능하도록 요구되고 있다. 

시장조사기관인 스트래터지 애널리틱스(Strategy Analytics)는 이런 기술을 구현하기 위해 차량에 필요한 카메라 수가 계속해서 증가할 것이라면서, 향후 5년 안에 고급형 자동차 대부분에 최대 12대의 카메라가 장착될 것으로 전망했다. 

이런 유형의 복잡한 카메라 기술은 최악의 조건에서도 영상을 신속하게 처리하고 분석할 수 있어야 하고, 엄격한 자동차 안전 기준을 충족하도록 설계되어야 한다. 스마트폰이나 소비자용 비디오 카메라에 사용되는 일반 카메라 기술을 통합하는 것으로는 불가능하다.

이미지 신호 프로세서(ISP) 역할의 변화

ISP는 원시 픽셀을 디스플레이용 고화질 영상으로 변환한다. 자동차에 탑재되는 카메라 수가 증가하고 센서 융합 기술이 고도화되면서 컴퓨터 비전 알고리즘에 의해 인코딩 및 추가적으로 처리되는 ISP 기능은 ADAS용 SoC 내에 집중되고 있다. 이에 따라 SoC는 다수의 카메라를 관리할 수 있을 뿐 아니라, 자동차 시장에 신뢰성과 최고 수준의 안전성을 제공할 수 있다. 이를 위해 자동차 기능 안전과 컴퓨터 비전 애플리케이션용 가상 병렬 처리에 대해 새롭게 접근 해야 한다. 지금까지 기존 단일 SoC로 수행하는 것은 쉽지 않았다 

Mali-C71: 차량용 요구 수준의 선명도와 신뢰성 제공

차량용 카메라는 최상의 선명도와 신뢰성을 제공해야 한다. 디스플레이용으로 카메라 영상이 출력되는 경우 화질은 더욱 중요하다. Mali-C71은 노출 값의 차이가 최대 24단계인 UWDR(Ultra-Wide Dynamic Range)을 제공한다. 경우에 따라 육안으로 볼 수 없는 상세한 이미지도 제공한다. 약 15단계의 DR(Dynamic Range)을 제공하는 고성능 DSLR 카메라 대비 선명도와 신뢰성에서 최상의 성능을 지원한다. Mali-C71은 영상잡음을 제거하고 카메라의 다중 노출을 처리할 뿐 아니라 UWDR 프레임을 만들어 디스플레이나 컴퓨터 비전 엔진으로 전송한다.

▲ 밝은 조건에서도 그림자에 가려져 있는 보행자를 감지하려면 캡쳐 되는 모든 화면의 요소를 탐지할 수 있는 DR이 필수적으로 요구된다.

보행자 보호나 졸음 운전 감지 시스템과 같이 ADAS용으로 카메라가 사용되는 경우, 가장 엄격한 수준의 신뢰성과 기능 안전 기준을 충족시켜야 한다. Mali-C71은 300개 이상의 결함검출 전용 회로(fault detection circuits)를 통해 짧은 지연시간 및 첨단 오류 탐지 기능을 제공한다. 이로써 ISO26262, ASIL D, IEC 61508, SIL3과 같은 엄격한 표준을 위한 시스템 수준의 인증을 가능케 한다. ARM은 ISP, 센서, 자동 화이트 밸런스, 자동 노출 등을 제어하기 위한 모든 소프트웨어 참조 코드를 제공하며, ASIL을 준수하도록 설계된 차량용 소프트웨어 전반을 개발할 계획이다. 

차세대 ISP는 디스플레이에서 렌더링 할 수 있는 데이터를 생성하는 동시에 데이터를 컴퓨터 비전 엔진이 사용할 수 있도록 처리해야 한다. 이 두 작업의 요건은 실질적으로 상반된다. Mali-C71은 단일 영상 파이프라인에서 서로 다른 두 가지 출력을 지원하는 하드웨어 IP를 지원한다. 

ARM 이미징 및 비전 그룹 총괄 부사장인 팀 램스데일(Tim Ramsdale)은 “자동차 산업이 자율 주행을 실현하기 위해 빠르게 움직이는 가운데, ARM Mali-C71은 운전자의 신속하고 정확한 판단을 위해 요구되는 정보를 높은 수준의 품질로 디스플레이에 나타낼 것이며, 동시에 자동차가 제어가능한 상태에서, 안전한 결정을 내릴 수 있도록 컴퓨터 비전 엔진에 신뢰할만한 데이터를 제공하게 될 것”이라고 말했다.