기술책임자 : 한국전자통신연구원 김성훈 연구원

기술개요

‘운전자 상태인식 기반 차량 간 인터렉션 시스템’은 자율주행 차량환경을 고려한 운전자와 차량 간 인터렉션 시스템을 제공한다. 차량 시스템은 항상 정상, 주의분산, 졸음, 무반응 상태의 조건을 판단하여 운전자에게 정보 제공을 하고 차량 또한 운전자의 상태를 모니터링한다. 또한, 운전자의 무반응 상태를 졸음 보다 더 위험한 상황으로 정의하고 이를 보다 정확하고 빠르게 판단하기 위해서 다중 센서 기반의 인터렉션 시스템 제시한다.

기술 필요성

운전자의 졸음운전, 부주의 행동 등은 교통사고를 유발하는 중요 원인이므로 운전자의 졸음운전, 주의분상에 대한 위험 요소를 관리하고 최적화하여 안전운전을 지원하는 기술 지원뿐만 아니라 자율주행시스템에 연동될 수 있는 기술이 개발될 필요성이 있다.
현재, 영상기반의 운전자 상태인식 한계를 개선하여 운전자의 상태 및 운전환경에 따라 적절한 주의 및 경고 정보를 제공하는 시스템을 개발하기 위해서는 운전자의 다양한 운전 환경을 종합적으로 분석하여 운전자의 주행 패턴을 분석하고 정량화할 수 있는 기술 개발이 필요하다.

AM(After Market) 시장에서 상용화 된 운전자 상태인식의 기술은 운전자의 눈동자를 기준으로 시선추적은 이루어지지 않고 있고, 얼굴의 방향성도 자세히 표현하지 못하기 때문에 다양한 환경, 즉, 일반도로와 같은 얼굴 방향과 시선이 빈번하게 변하는 조건에서 단순한 정면 얼굴 검출 기준으로는 한계가 있다.



기술의 특징 및 장점

“운전자 자율주행 차량 간 상태인식 기반 인터렉션 시스템” 기술은 복합적인 정보 분석과 판단을 기반으로 오인식에 대한 문제를 해결할 필요성이 있기 때문에 운전자의 주행 패턴을 얼굴, 손, 팔, 차량 정보를 복합적으로 판단하여 운전자의 상태를 보다 정확히 인식하는데 필요한 전반적인 기술이다.

또한, 실제 다양한 도로 주행 환경에서 빛의 조도를 보완해 주는 WDR 카메라로부터 습득한 데이터를 학습한 결과 정보를 분석하고 패턴을 도출하며, 얼굴 내의 다양한 특징을 검출할 수 있도록 학습결과를 제공함으로써 졸음 및 주의 분산에 대한 판단에 있어서 보다 높은 신뢰도 제공한다.

기존의 비전 기반 혹은 생체 센서 기반의 운전자 얼굴 표정 및 생체 흐름에 초점에 두고 상태인식을 한것과 달리 실제 주행환경에서 운전자가 의도 혹은 무의식적으로 취하는 행동을 구분하여 졸음 보다 위험한 상황에 대해 빠른 판단을 장점으로 한다.

활용방안 및 기대성과

향후 “운전자 제어권 기술, 주행상황 판단 기술”과도 연동되어 운전자가 졸음 혹은 주의 분산 상태로 판단되었을 때, 차량 주변의 주행환경 정보와 복합적으로 판단하여 자율주행 차량의 행동 결정 및 제어를 통해 주행의 패턴을 조정할 수 있고 운전 제어 권한을 전이하여 자율 주행 모드로 변경할 수 있는 상황을 판단하기 위한 기술로 확장 가능하다.

기존에 상용화된 AM 시장의 운전자 상태인식 기술은 동공을 검출하나 주의 분산 판단을 위해 다양한 운전자의 상황 및 패턴을 인식하지는 못하고 있으며, 본 기술에서 제공하는 15종의 얼굴 부분 정보를 활용하여 제한된 범위 내에서 운전자의 얼굴 방향과 동공 인식을 통한 시선추적이 가능하여 보다 정교한 운전자의 주의 분산 판단결과를 도출해 낼 것으로 기대된다.

운전자의 오버로드(주의분산)과 언더로드(졸음인식) 부하로 인한 위험상황을 대처함으로써 국민의 안전과 생명을 보호하고, 나아가 교통사고의 위험성이 적은 교통 환경에서 국민의 이동성을 보장하여 이들의 삶의 질을 향상시킴으로써 사회적 비용을 간접적으로 절감하도록 지원할 수 있을 것으로 기대된다.