임베디드 애플리케이션으로 이미지, 레이더, ToF 센서 통합

MIPI CSI-2 규격에서 정의하고 있는 가상 채널을 사용함으로써 다중의 센서 데이터 스트림을 단일 I/O 포트로 결합할 수 있으므로, 다중의 이미지 센서를 사용하는 애플리케이션에서 전반적인 풋프린트와 전력 소모를 줄일 수 있다.

드론, 지능형 자동차, 증강현실/가상현실(AR/VR) 헤드셋 모두가 자신의 주변 환경에 관한 데이터를 포착하기 위해서 다양한 센서들을 사용한다. 시스템이 필요로 하는 이미지 데이터를 제공하기 위해서는 각각의 센서들을 시스템의 애플리케이션 프로세서(AP)로 연결해야 하는데, 이것이 임베디드 엔지니어들에게 까다로운 설계 과제이다.



첫째, AP는 센서들을 연결하기 위해서 사용할 수 있는 I/O 포트 수가 제한적이다. 그러므로 상이한 다양한 장치들을 AP로 연결하기 위해서 I/O 포트를 신중하게 할당해야 한다.

둘째, 드론이나 AR/VR 헤드셋 같은 장비는 폼팩터가 소형이고 전원으로 배터리를 사용한다. 그러므로 이러한 애플리케이션에 사용되는 부품은 크기가 작고 되도록 전력 효율이 우수해야 한다.

AP의 I/O 포트 부족을 해결할 수 있는 한 가지 솔루션이 MIPI CSI-2(Camera Serial Interface-2) 규격에서 정의하고 있는 가상 채널(virtual channels)을 사용하는 것이다. 가상 채널을 사용함으로써 최대 16개 센서 스트림을 단일 스트림으로 결합하고 단일 I/O 포트를 통해서 AP로 전송할 수 있다. 가상 채널 구현에 적합한 하드웨어 플랫폼은 FPGA이다. 다른 하드웨어 플랫폼은 설계에 많은 시간이 걸릴 뿐만 아니라, 드론이나 AR/VR 헤드셋 같은 애플리케이션에 필요로 하는 저전력 성능을 제공하지 못한다.

FPGA는 가상 채널 용으로 사용하기에 풋프린트가 너무 크고 너무 많은 전력을 소모한다고 생각할 수 있다. 하지만 반도체 설계와 제조 기술이 진화함에 따라서 크기가 작고 전력 효율적인 새로운 세대의 FPGA가 가능하게 되었다.



센서 동향

드론, 지능형 자동차, AR/VR 헤드셋에 대한 수요가 증가함에 따라서 센서 시장도 빠르게 성장하고 있다. Semico Research의 전망에 따르면, 자동차(27% CAGR), 드론(27% CAGR), AR/VR 헤드셋(166% CAGR) 애플리케이션이 센서 시장의 주된 성장 동력이 될 것이며 2022년에 반도체 회사들이 연간 15억 개의 이미지 센서를 출하할 것이라고 한다.

이러한 애플리케이션들은 자신의 주변 환경에 관한 데이터를 포착하기 위해서 다양한 센서들을 필요로 한다. 예를 들어서 지능형 자동차는 후방 및 서라운드 카메라 용으로 다수의 고선명 이미지 센서, 물체 감지를 위한 라이다 센서, 사각지대 모니터링을 위한 레이더 센서를 사용할 수 있다.

이러한 다양한 센서들을 사용하기 위해서는 일이 까다로워진다. 모든 센서들이 자동차의 AP로 데이터를 전송해야 하고, AP는 사용할 수 있는 I/O 포트 수가 한정적이기 때문이다. 또한 더 많은 센서를 사용할수록 회로 보드 상으로 AP로 연결되는 배선의 밀도가 높아지고, 이것은 헤드셋 같은 소형화된 디바이스로 공간 제약을 심화시킨다.

AP의 I/O 포트 부족 문제를 해결할 수 있는 한 가지 솔루션이 가상 채널을 사용하는 것이다. 가상 채널을 사용해서 다양한 센서들로부터의 비디오 스트림을 단일 스트림으로 결합하고 단일 I/O 포트를 통해서 AP로 전송할 수 있다. 현재 카메라 센서를 AP로 연결하기 위해서 가장 널리 사용되는 표준이 MIPI Alliance에서 개발한 MIPI CSI-2(Camera Serial Interface-2) 규격이다. CSI-2 가상 채널 기능을 사용해서 최대 16개 데이터 스트림을 하나로 결합할 수 있다. 하지만 다수의 이미지 센서들로부터 데이터를 하나의 비디오 스트림으로 결합하기 위해서는 많은 과제들을 해결해야 한다.



가상 채널에 따른 과제

동일한 타입의 센서들로부터 센서 데이터를 하나의 채널로 결합하는 것은 복잡하지 않다. 센서들을 동기화하고 데이터 스트림을 결합해서 두 배의 폭으로 하나의 이미지로서 AP로 전송할 수 있다. 문제는 상이한 방식의 센서들로부터 데이터 스트림을 결합해야 할 때이다. 예를 들어서 드론은 주간에 물체 감지를 위해서 고해상도 이미지 센서를 사용하고 야간에 물체 감지를 위해서 열 패턴을 포착하기 위해서 저해상도 IR 센서를 사용할 수 있다.



이들 센서들은 프레임 레이트, 해상도, 대역폭이 다르기 때문에 동기화를 할 수 없다. 각기 다른 비디오 스트림을 식별하기 위해서 각각의 CSI-2 데이터 패킷을 가상 채널 식별자를 사용해서 태깅을 해야 한다. 그래야 AP가 각각의 패킷을 적절히 처리할 수 있다.

패킷 태깅과 더불어서, 상이한 방식의 다양한 센서들로부터 데이터 스트림을 결합하기 위해서는 센서 데이터 페이로드를 동기화해야 한다. 센서들을 각기 다른 클록 속도로 실행하면 각기 센서로 각각의 클록 도메인을 유지해야 한다. AP로 출력하기에 앞서 이들 도메인들을 동기화해야 한다.

가상 채널 처리를 위한 전용적인 하드웨어 브리지 필요

하드웨어로 가상 채널을 지원하기 위한 브리지 솔루션을 구현함으로써 위에서 열거한 문제들을 해결할 수 있다. 전용적인 가상 채널 브리지를 사용함으로써 모든 이미지 센서들을 이 브리지의 I/O 포트로 연결하고 이 브리지를 단일 포트를 통해서 AP로 연결할 수 있다. 그럼으로써 귀중한 AP 포트를 절약하고 절약된 포트로는 다른 장치들을 지원할 수 있다. 뿐만 아니라 회로 보드 상으로 센서와 AP 사이에 다중의 배선들로 인한 풋프린트 문제를 해결할 수 있다.

브리지를 사용해서 AP로 연결되는 다중의 배선을 통합할 수 있기 때문이다. FPGA를 사용해서 각기 센서 입력으로 병렬적 데이터 경로를 구현하고, 각기 경로로 각자 클록 도메인을 사용할 수 있다. 아래 그림에서 보듯이, 가상 채널 융합(Virtual Channel Merge) 스테이지에서 이들 도메인들을 동기화함으로써 AP로부터의 프로세싱 부담을 덜 수 있다.

PLD 기반 가상 채널 하드웨어의 이점

하드웨어로 가상 채널을 구현하기 위해서 가장 적합한 IC 플랫폼은 FPGA를 사용하는 것이다. FPGA는 유연한 I/O 포트로 다양한 인터페이스를 지원할 수 있으며, 다량의 로직 어레이를 Verilog 같은 하드웨어 기술 언어를 사용해서 프로그램할 수 있다. ASIC은 설계와 QA 프로세스에 긴 시간이 소요되는 것과 달리, FPGA는 제조를 할 수 있도록 이미 QA 검증이 이루어져 있으며 수일 또는 수주 만에 설계를 할 수 있다. 전통적인 FPGA는 물리적으로 크기가 크고 전력을 많이 잡아먹으므로 전력 제약적인 임베디드 애플리케이션에는 적합하지 않다는 것이 일반적인 인식이다. 지금까지는 그랬다.

Lattice Semiconductor의 CrossLink™ FPGA 제품군은 가상 채널을 사용한 비디오 브리지 애플리케이션 용으로 적절한 성능, 크기, 전력 소모를 조합하고 있다. PHY당 최대 6Gbps로 동작하는 2개의 4레인 MIPI D-PHY 트랜시버를 제공하며, 크기가 작게는 6mm2에 이른다.

MIPI-D-PHY, LVDS, sub-LVDS, 싱글 엔디드 병렬 CMOS를 비롯해서 최대 15개의 프로그래머블 소스 동기 차동 I/O 쌍을 지원하며, 많은 애플리케이션으로 전력 소모가 100mW 미만이다. 또한 CrossLink FPGA는 슬립 모드를 지원하므로 대기 시에 전력 소모를 줄일 수 있다. 또한 Lattice는 고객들이 다양한 브리징 솔루션을 빠르게 구현할 수 있도록 포괄적인 소프트웨어 IP 라이브러리를 제공한다.

맺음말

MIPI CSI-2 규격에서 정의하고 있는 가상 채널을 사용함으로써 다중의 센서 데이터 스트림을 단일 I/O 포트로 결합할 수 있으므로, 다중의 이미지 센서를 사용하는 애플리케이션에서 전반적인 풋프린트와 전력 소모를 줄일 수 있다. Lattice Semiconductor의 CrossLink 제품군 같은 저전력 FPGA의 재프로그램 가능성, 성능, 크기를 활용함으로써 고객들이 자사 디바이스로 가상 채널을 쉽고 빠르게 구현할 수 있다.

MIPI 기반 임베디드 비전 시스템 위한 FPGA
래티스, 비디오 브리징 가속화 및 성능 향상

래티스 반도체는 MIPI D-PHY 기반 임베디드 비전 시스템을 위한 CrossLinkPlus™ FPGA 제품군을 발표했다.

CrossLinkPlus 디바이스는 혁신적인 저전력 FPGA 제품으로, 인스턴트-온 패널 디스플레이 성능을 위한 내장형 플래시 메모리와 하드웨어 기반의 MIPI D-PHY 및 고속 I/O를 비롯하여 유연한 온-디바이스(on-device) 프로그래밍 기능이 특징이다. 이와 함께 래티스는 즉시 사용할 수 있는 IP와 레퍼런스 디자인도 함께 제공함으로써 고객이 산업, 자동차, 컴퓨팅, 컨수머 애플리케이션을 위한 강화된 센서 및 디스플레이 브리징과 애그리게이션, 기능 분할, 그 밖에 일반적인 요구사항들을 보다 신속하게 구현할 수 있게 했다.



개발자들은 임베디드 비전 시스템에 여러 이미지 센서나 디스플레이를 추가함으로써 사용자 경험은 강화하면서, 다른 한편으로 시스템 비용과 전력 예산에 대한 요구사항들은 충족하기를 원한다. 래티스는 CrossLinkPlus FPGA로 이 같은 요구를 충족한다.

소형 크기(3.5 x 3.5mm)에 300μW 이하의 저전력 특성을 나타내는 CrossLinkPlus 제품군은 하드웨어 기반의 MIPI D-PHY와 함께, OpenLDI와 RGB 같은 인터페이스를 위한 방대한 고속 I/O, 그리고 온칩 비휘발성 플래시 메모리를 지원하기 때문에 임베디드 비전 애플리케이션에 특히 이상적이다. CrossLinkPlus는 이 온칩 플래시 메모리를 통해 인스턴트-온 기능을 지원하며, 사용자가 디바이스를 융통성 있게 재프로그래밍 할 수 있도록 한다.