자율주행차에 대한 관심이 높아지고 있는 가운데, 첨단운전자보조시스템(ADAS) 도입이 확대되면서 자율주행을 위한 기반이 마련되고 있다. 이미지 센서는 카메라 기반 시스템의 기본 요소로, 차량의 눈 역할을 한다. 운전자는 주행 시 이미지 센서의 백업 카메라와 360도 서라운드 뷰 시스템을 통해 차량 후방과 주변 시야를 볼 수 있어 안전성을 확보할 수 있다.

또한, 이미지 센서는 전방상황을 감지하는 전방 카메라 시스템을 통해 충돌을 방지하는 자동기능도 제공한다. 자동차 카메라 도입은 정부규제와 신차평가제도(NCAP)와 같은 안전등급이 마련됨에 따라 신속히 추진되고 있다. 자동차 제조사들은 고급 차량부터 보급형 차량에 이르는 모든 자동차 플랫폼에 이 시스템을 도입하고 있다.

그 결과로서, 일본 시장조사업체 테크노 시스템즈 리서치(TSR)에 따르면, 전 세계적으로 매년 생산되는 자동차 카메라의 숫자는 2013년 4천 7백만에서 2017년 1억 1천만으로 두 배 이상 증가한 것으로 나타났다.

운전자는 차량의 각 면에 장착된 네 개의 카메라로 제공되는 360도 서라운드 뷰 시스템을 통해 제공되는 저속 주차와 메뉴버링(Manoeuvring) 기능으로 차선을 변경하기 전에 차선이탈경고, 사각지대감지와 같은 경고를 제공받을 수 있다. 또한, 카메라는 카메라 모니터 시스템(CMS)으로 거울의 기능을 대체한다.

운전자는 85카메라 모니터 시스템을 통해 거울로 볼 수 없었던 사각 지대를 차 안에서 볼 수 있다. 관할 당국에서 거울관련 규정을 완화한다면, 차량 외부 거울을 제거할 수 있어 연비와 차량외관 설계에 큰 도움이 된다. 전방 카메라는 운전자에게 영상을 보여주는 용도로 사용되지는 않지만, 차량 전방상황을 감지해 안전 및 편의성을 높인다.

이러한 시스템은 주행 중 갑자기 방해물이 감지되면 차량을 멈추게 하는 자동긴급제동장치(AEB)로 충돌을 완화하고, 적응식 정속주행 시스템(ACC)으로 운전자에게 고통을 덜어주게 된다. 이는 특히 정체가 심한 고속도로 주행 시 유용하다.



센서 고려사항

이미지 센서는 이러한 모든 애플리케이션에서 카메라 내 핵심 구성요소로 사용되지만, 이미지 품질, 해상도, 센서 크기 등에 필요한 요구사항은 각각 다를 수 있다. 예를 들어, 백업 카메라와 같이 운전자에게 이미지를 제공하는 데 사용되는 카메라에 필요한 이미지 품질은 AEB와 같은 ADAS 기능을 제공하기 위해 알고리즘과 함께 물체를 감지하는 데 사용되는 전방 카메라와 요구사항이 다를 수 있다. 마찬가지로, 특정 디스플레이 형식을 충족시키는데 필요한 해상도는 알고리즘이 물체를 정확하게 감지하고 식별하기 위해 정확한 최소 픽셀 수가 필요한 컴퓨터 비전 애플리케이션이 요구하는 해상도와 다르다.

전방 카메라 시스템에는 이미지 센서 출력을 사용해 보행자와 차량, 물체를 감지하고 의사 결정을 내리는 컴퓨터 비전 알고리즘이 사용된다. 이 알고리즘은 수 천 시간의 주행 테스트를 통해 수집된 이미지로 학습되며, 이 과정은 상당한 비용이 수반된다. 이미지는 생산과정에서 롤 아웃(roll-out)된 것과 동일한 시스템을 사용해 수집돼야 하며, 수집에 앞서 이미지 품질을 설정해야 한다.

이렇게 이미지를 조정하고 개발하려면 현장 상황의 변화에 따라 자동적으로 최적의 이미지를 출력하기 위해 센서와 적절한 자동 노출과 자동 화이트 밸런스 기술을 조절하기 위한 엔지니어링 노력이 필요하다. 캡처한 이미지로 훈련시키는 컴퓨터 비전 알고리즘은 이미 주어진 데이터 세트의 프로파일을 인식하도록 조정돼 있어 특성이 다르거나, 다르게 튜닝된 이미지 센서로 구성된 카메라에서는 실행할 수 없다.

다양한 해상도로 같은 성능과 유사한 특성을 제공하는 이미지 센서 확장 플랫폼은 엔지니어링 개발 작업과 교육 이미지 데이터 세트를 재사용할 수 있어 다양한 플랫폼에서 작업하는 제조사들의 노력과 비용을 대폭 절감시켜 준다.

이미징의 어려움

자동차 이미징 시스템을 고려할 때 중요한 요소는 이미지 센서의 성능과 넓은 영역의 현장 요소(Dynamic Range)을 포착하는 기능이다. 현장 요소는 센서가 장면에서 포착할 수 있는 밝기 대비 정도를 의미한다. 간단히 말해 같은 장면 내에서 밝은 영역과 그림자와 같은 어두운 영역을 잘 처리할 수 있는지를 뜻한다.

자동차 카메라는 늦은 오후에 해가 수평선에 낮게 걸려 있는 시점이나 차가 지하도를 통과할 때 흔히 문제가 발생한다. 센서의 현장 요소가 너무 낮으면 장면 내의 중요한 디테일을 놓칠 수 있어, 그 결과 운전자나 컴퓨터 비전(computer vision) 알고리즘이 현장에서 물체를 인식하지 못해 안전하지 못한 상황으로 이어진다.



자동차 제조사의 또 다른 과제는 자동차 전조등과 미등 뿐 아니라 교통 표지판에 LED(Light-Emitting Diode)를 사용하는 일이 점차 많아진다는 점이다. 이는 자동차 이미징으로 해결해야 할 과제를 증가시킨다. LED 조명은 보통 펄스 폭 변조(PWM)로 제어된다. LED는 빛 강도를 조절하고 전력을 절감하기 위해 다양한 듀티 사이클(duty cycle)을 사용해 점등?소등되는데, 이는 속도가 너무 빨라 사람 눈으로 인식하기 어렵다.

사람은 이러한 조명의 깜빡임을 인지할 순 없지만, 이미지 센서는 LED가 꺼져 있거나 가끔 켜져 있을 때도 순간을 포착한다. 이에, 비디오 상에 깜빡임 효과가 표시되며, 안전문제를 야기할 수 있다. 차량이나 교통 신호에 사용하는 펄스 LED 빈도에 대한 기준이 없다는 점은 문제를 더 복잡하게 만든다. 이러한 깜빡임 효과는 컴퓨터 비전 알고리즘을 사용하는 전방 카메라가 교통 신호를 잘못 이해하거나 놓칠 수 있게 하며, CMS 또는 백업 카메라와 같은 애플리케이션이 운전자를 교란시키거나 혼란을 주게 한다.

수평선에 해가 낮게 걸려 시야가 밝거나, 도로변 나무 그늘에 있는 보행자처럼 어두운 물체가 나타나는 상황을 가정해 보자. 일반적인 이미지 센서는 이렇게 현장 요소가 높은 장면을 포착할 때 포화상태를 피하기 위해 짧은 노출을 사용하고 밝은 부분을 날려 해당 부분을 보완한다. 차량의 LED 전조등 같은 펄스 광원을 이용하면 이미지 센서는 전조등이 실제로 꺼져 있을 때도 밝은 부분을 포착하는데 사용되는 짧은 노출 시간으로 프레임을 포착한다.

밝은 대낮에 높은 현장 요소 이미지를 출력하기 위해 다양한 노출을 통합하는 동안, 노출은 LED를 놓치게 되고, 그 결과 헤드라이트가 깜박거리는 것처럼 보인다. LED가 켜져 있는 동안 장면을 포착하기 위해 노출 시간이 연장될 경우, 햇빛에 비춰지는 장면 일부가 과다 노출된다. 이에, 현장 요소가 감소하게 돼 장면 디테일이 떨어지게 되고, 결국 이미지 품질은 크게 감소한다.

높은 현장 요소와 LED 깜빡임 완화

단일 프레임 내에서 더 많은 현장 요소를 달성할 수 있는 이미지 센서로 이러한 문제를 해결할 수 있다. 이러한 이미지 센서는 “켜짐” 상태에서 펄스 광원을 포착할 수 있을 정도로 충분히 긴 노출로 밝은 영역을 포착할 수 있도록 하며, 장면을 과다 노출시키지 않는다. 온세미컨덕터의 하야부사(Hayabusa) 차량용 이미지 센서 플랫폼은 슈퍼 노출(Super-Exposure)를 가능케 하는 혁신적인 픽셀 기술로, 이를 성공적으로 구현한다.

이 기술은 혁신적으로 설계를 구축하고, 프로세스를 사용할 수 있어 센서 내에서 더 많은 전하를 저장할 수 있고, 기존에 자동차 애플리케이션에 사용된 동일한 크기의 이미지 센서 대비 포화에 이르기까지 5배 더 긴 노출 시간을 허용한다. 하야부사 이미지 센서는 이 픽셀 기술을 통해 120dB 이상의 높은 현장 요소 이미징을 달성하면서 LED 깜빡임을 완화하는 기능도 제공한다.

솔루션의 일부는 하야부사 슈퍼 노출 픽셀의 구성에 달려있다. 3.0 마이크론 후면조사형(BSI) 픽셀은 각각 참신한 설계와 제조 공정을 통해 유입되는 빛에 의해 생성되는 10만 개 이상의 전자를 저장한다. 이는 동일한 픽셀 크기의 기존 CMOS 이미지 센서가 제공하는 전자 2만 개보다 훨씬 많은 양이다.

이를 통해 95dB의 현장 요소를 포착하는 단일 슈퍼 노출을 가능하게 하고, 대부분의 장면을 포착할 수 있다. 또한, 하야부사 센서는 장면의 가장 밝은 부분을 포착해 현장 요소를 120dB 이상까지 확장하는 매우 짧은 두 번째 노출을 추가할 수 있는 기능을 제공한다.

슈퍼 노출은 높은 현장 요소 출력을 유지하면서 LED 깜박임 완화 효과를 얻기 위해 장면 내에서 예상되는 가장 낮은 주파수의 펄스 LED 전체 기간을 포착할 수 있을 정도로 길이가 제한될 수 있다. 이를 90Hz로 간주한다고 하면, 노출 시간은 11밀리초(ms) 정도다. LED는 그 중 십분의 일 시간 이하로만 켜질 수 있다.

이 센서는 십만 전자 전하 용량을 활용해 LED “켜짐” 펄스에서 신호를 포착하면서 장면의 가장 밝은 영역의 디테일을 잃지 않고도 충분히 긴 시간 동안 노출될 수 있다. 두 번째 짧은 노출 시간은 독점적인 온칩(on-chip) 알고리즘과 함께 추가된다. 이 알고리즘은 슈퍼 노출에서 포착한 펄스 LED가 포함된 장면의 영역이 유지되는 동안 현장 요소가 확장되도록 한다.

그 결과, 센서는 일반적인 센서에서는 깜박이는 것처럼 보이는 펄스 LED로 구성된 영역을 유지하면서 120dB 이상의 현장 요소를 포착할 수 있다. 하야부사 플랫폼은 이 같은 성능으로 LED 깜박임 완화와 높은 현장 요소가 필요한 자동차용 카메라를 개발하기 위한 최적의 솔루션으로 거듭난다. 또한, 플랫폼의 모든 제품이 동일한 성능을 제공하므로 자동차 제조사는 여러 장치를 사용하며 엔지니어링 작업이나 센서에서 나온 알고리즘을 교육시키는데 이용한 데이터를 반복적으로 사용할 수 있다.

결론

자동차용 이미지 센서인 하야부사 플랫폼의 범위는 1MP에서 5MP로, 확장성을 보장하고 자동차 제조사에게 다양한 애플리케이션을 제공한다. 이 플랫폼의 첫 번째 장치인 AR0223AT는 초당 60 프레임으로 1080p 비디오를 생성하는 동시에, 높은 현장 요소와 LED 깜박임 완화 기능을 갖춘 2.6MP 센서다.

이미지 센서 플랫폼은 자동차 이미징의 두 가지 주요 기술적 문제와 자동차 제조사의 실질적 문제점을 한 번에 해결한다. 개발자는 다양한 장치에 일관된 성능과 동작을 제공하는 플랫폼을 생산함으로써 수 천 시간에 달하는 장면 데이터를 알고리즘 교육에 활용하고, 해당 애플리케이션에 가장 적합한 이미지 센서를 사용해 다양한 차량에 비슷한 ADAS 기능을 설치할 수 있다.

이를 통해 최소한의 노력으로 여러 차량 플랫폼에서 고급 고해상도 시스템과 비용 효율적인 저해상도 시스템을 설치할 수 있다. 하야부사 이미지 센서 플랫폼은 자동차 제조사들이 ADAS 서비스를 발전시키는데 큰 도움을 줄 것이다. 또한, 소비자에게 더 나은 선택권을 제공하고, 운전자에게 운전자와 보행자를 위해 도로 안전을 향상시킬 수 있는 시스템을 제공한다.