DAVE2-SKY는 GPS 음영구간에서도 주행 가능해

인터뷰 김시호 연세대 글로벌융합공학부 교수

연세대 글로벌융합공학부 STL(Seamless Transportation Lab) 지능형 자동차 그룹은 인공지능을 기반으로 한 자율주행차기술을 연구한다. 김시호 교수 연구팀은 지난해 10월 SK텔레콤과 서울대, 연세대, 대구경북과학기술원(DGIST)이 함께 발족한 산학연 자율주행 공동연구 연합체 ‘어라운드 얼라이언스(AROUND Alliance)’의 창립멤버이기도 하다.

‘어라운드 얼라이언스’는 인공지능 및 주행 인지?판단 소프트웨어 고도화, 범용 자율주행 플랫폼 구축, 인재 양성, 차량 통신 기술인 V2X(Vehicle to Everything)를 활용한 공동 연구를 추진하는 단체이다. 김시호 교수는 발족식 당일 열렸던 워크샵 행사에서 딥러닝 방식으로 주차장 영상 인식을 통해 빈자리를 찾아 ‘자율주차’하는 기술을 선보였다. 자율주차 기술에 이어 인공지능 자율주행기술인 ‘DAVE2-SKY’를 개발한 연세대 STL 김시호 교수에게 DAVE2-SKY와 자율주행 기술의 전망을 물었다.

Q. DAVE2-SKY는 어떤 기술인가?
A. 자율주행은 기본적으로 인지(Perception), 판단(decision), 제어(Maneuver)의 3단계로 구성됩니다.

인지는 센서를 통해서 주변의 이동 및 고정 장애물, 자차의 위치, 자차의 속도, 상대 차량의 위치 및 속도, 차선 변경 등 상대 차량의 의도, 교통 표지판, 교통 신호등, 기타 교통 안내물 (차선 차단, 차선 유도, 공사 안내, 교통 통제 등), 주행 가능 영역, 주행 금지 영역 등을 인식하는 단계입니다. 판단은 가속, 감속, 조향 제어를 결정하는 단계이고, 제어는 실제로 차량의 액추에이터(가속 페달, 브레이크 페달, 스티어링 핸들)를 조작하는 단계입니다. 인간은 운전하는 동안 이와 같은 3단계를 연속적으로 동시에 수행합니다.

제어기반기술은 인지, 판단, 제어에 각각의 알고리듬을 적용합니다. 먼저 센서로 받아들인 신호를 처리하고 특정한 인지 알고리듬을 적용합니다. 이와 같은 과정을 통해 정보를 파악하여 인지를 수행합니다. 이후 인지된 정보를 활용하여 주행 결정 알고리듬을 적용하여 주행 결정을 내리고 제어 알고리듬을 적용하여 차량을 제어하는 단계로 구성됩니다.

이렇게 각각 인지, 판단, 제어에 개별적인 알고리듬을 적용하는 경우 자차의 위치 파악이 중요합니다. 자차의 위치를 파악하기 위해서는 고정밀 전자지도(HD Map)와 초정밀 GPS(DGPS) 또는 라이다를 통하여 자체 지도를 만들고 그 지도위에 자신의 위치를 파악하는 Localization & Mapping 기술이 필요합니다. 그러나 의도적인 재밍(Jamming), 전파 교란, 태양 활동 등의 이유로 GPS 신호에 장애가 발생하거나 터널, 도심, 지하 주차장 등의 구간에서는 인지에 상당한 오류가 발생할 수 있습니다. 따라서 자율주행차의 동작 안전성은 센서 정밀도와 주변 환경 및 알고리듬의 정확도에 크게 영향을 받게 됩니다.

인공지능기반 자율주행은 인간의 주행 방식을 모방하는 자율주행차의 제어 방식입니다. 숙련된 인간운전자는 복잡한 곡률 계산이 필요하지 않고 자신의 위치를 고정밀 지도에 계속 매핑하지 않습니다. 그러면서도 자신의 운전하는 차량의 속도에 맞추어서 차선을 바라보면서 적절하게 핸들을 조향합니다. 장애물의 충돌가능성과 주변 차량의 의도도 눈을 통해 쉽게 인지하고 파악할 수 있습니다. 운전자는 경험에 의해서 이러한 능력을 습득하는 것입니다.

인공지능 방식의 자율주행은 운전자가 운전하면서 생성한 빅데이터를 통하여 숙련된 운전자의 인지, 판단, 제어를 학습하는 방식으로 자율주행 제어기를 개발합니다. 예를 들면, 운전자차 속도에 따른 조향 제어값, 교차로에서의 조향과 속도 제어값을 심화신경망에 학습시킴으로써 자율주행 제어를 구현하는 것입니다. 인간은 GPS가 지원되지 않는 환경에서도 운전이 가능합니다. DAVE2-SKY는 인공지능 방식을 채택함으로써 지하구간, 터널구간 등 GPS 음영 구간에서도 정상적인 주행이 가능합니다.




Q. DAVE2 SKY는 어떤 방식으로 딥러닝이 이뤄지고 있는가? 그리고 학습된 정보들은 어떤 형태로 저장되는가?
A. 먼저 ‘Prescan’이라는 주행 시뮬레이터에서 기본적인 학습 데이터를 만들고 가상 환경에서 DAVE2- SKY를 학습시킵니다. 이는 실 도로에서 복잡한 상황을 학습시키기 전에 인공지능이 제대로 동작할 지에 대해서 가상공간에서 성능을 검증하는 단계입니다. 실제 실험에서 노력과 비용을 절감하기 위한 방법입니다.

이러한 단계를 통과하면, 운전자가 차량을 운전하면서 차량의 센서를 통해 정보를 취득하여 학습 데이터를 만듭니다. 이러한 학습 데이터는 차량내의 대용량 스토리지에 저장되고 고속 무선망을 통해서 서버로 전송되어서 대량의 학습 데이터베이스가 만들어 집니다.

만들어진 학습데이터를 이용하며 신경망을 학습시키고, 학습된 신경망을 차량의 제어기로 이전하여서 시험 주행을 하고, 문제가 발생하면 문제를 파악하여 추가 적인 학습을 반복하게 됩니다.

Q. 자율주행기술 연구 과정에서 어떤 부분이 가장 구현하기 어려운가?
A. 교통 상황에서 예외가 발생하는 경우가 가장 어렵습니다. 인간은 지능이 높기 때문에 예외가 발생하여도 그 상황을 이해하여 대처하는 능력이 있지만, 현재의 인공지능 기술은 미리 예상하지 못한 상황이 발생하는 경우에 대처하는 기술을 개발하는 것이 가장 어렵습니다.
에를 들면, 신호등이 고장 나서 경찰이 수신호로 차량을 통제하는 경우 자율 주행차는 경찰의 수신호를 이해해야 합니다.

여러 어려운 요소들이 있지만 또하나 자율주행에서 구현하기 어려운 부분은 교차로에서 회전하는 경우입니다. 교차로에서 좌회전을 할 경우 차량이 교차로 중앙으로 진입하게 됩니다. 일반 도로에서는 차선이라는 기준점을 가지고 주행하지만 교차로 중앙의 경우 차선이 존재하지 않는 넓은 아스팔트 공간입니다. 이런 문제를 해결하기 위해서 보통의 자율주행기술들은 정밀한 GPS를 통해 지도위에 자신의 위치를 맵핑해 계산해서 회전합니다.

그러나 GPS 신호에 이상이 생기면 바로 오동작이 일어납니다. 날씨 좋고 주변에 고층건물이 없는 환경에서는 잘 작동할 수 있겠지만, 현실적으로 도심에서는 GPS 신호에 이상을 유발할 요소가 많이 있습니다. DAVE2-SKY는 GPS가 필요 없는 기술입니다. DAVE2-SKY는 기본적으로 카메라를 통해 모든 정보를 받아들이고 라이다(Lidar)를 통해 장애물과의 거리를 인식합니다.

교내(연세대 국제캠퍼스)에서 주행연습을 했는데 난코스가 상당히 많이 있습니다. 교차로도 존재하지만 지하주차장 구간도 난코스중 하나입니다. 지하구간에서는 GPS신호도 끊기기 때문에 정밀GPS와 맵핑기반의 자율주행기술은 이 구간을 통과 할 수 없을 것입니다.



Q. 연구의 진행상태가 궁금하다. 현재는 어떤 점에 초점을 두고 있나?
A. 기존에 제작한 차량의 개발은 끝난 상태입니다. 지금은 2호차 제작을 준비중입니다. 2호차에서는 엔비디아 GPU 플랫폼을 빼고 자체 개발한 플랫폼을 탑재할 예정입니다. 이를 통해 장치의 소형화와 설치의 간소화, 비용절감을 목표로 하고 있습니다. 2호차부터는 시내에서 주행연습을 할 예정입니다. 실제 주행하는 차량들과 어떻게 상호작용하는지 봐야합니다. 향후 카셰어링 서비스에 도입할 계획을 갖고 있습니다.

현재도 카셰어링 서비스가 어느 정도 이뤄지고 있긴 합니다. 그러나 사용자가 차를 사용하려면 차량이 주차된 곳으로 찾아가야 하는 번거로움이 있고, 반납할 때도 지정된 장소에 주차하고 돌아와야 합니다. 이 장소가 집, 혹은 직장과 거리가 있을 경우 차를 빌렸음에도 다른 교통수단을 사용해야 하는 불편함이 있습니다.

자율주행기술이 적용되면 이런 불편함을 해소할 수 있게 됩니다. 올해 어플을 통해 차량을 부를 수 있는 카셰어링 서비스를 시연하려고 합니다. 어플을 통해 카셰어링 서비스 차량을 빌리면 차량이 자율주행을 통해 현재 위치까지 오는 것입니다. 반납도 마찬가지로 사용자가 사용을 완료하면 알아서 차고지로 돌아가게 할 것입니다. 물론 주차도 스스로 할 수 있습니다. 지난해 캠퍼스 내에서 이와 같은 자율주행 서비스를 시연한 적이 있습니다. 올해는 시내에서 이 서비스를 시연할 것입니다. 자율주행기술이 도입되면 카셰어링 서비스가 지금에 비해 굉장히 활발해질 것이라고 생각합니다.

Q. 아직 개선해야 할 부분이 남아있을 것 같다.
A. 실제로 사람이 운전하기 위해서도 면허 취득 후에 2~3년간 실전경험을 쌓아야 능숙한 운전자가 될 수 있습니다. 인공지능도 똑같이 경험이 필요합니다. 사람처럼 훈련을 하면 할수록 훨씬 좋아집니다. 앞으로는 실제로 도로에 나가 인공지능에게 새로운 학습 모델을 제공하고 싶습니다. 그렇게 지속적으로 학습하다보면 결국 사람의 운전 실력을 넘어설 수 있을 것입니다.

앞으로 개선해 나가야할 부분 중 하나는 야간 운전입니다. 전조등, 헤드라이트 등 환경이 낮과는 다른 부분이 많기 때문에 이에 대한 학습이 더 필요합니다. 그리고 아직까지 아무도 자율주행에서 성공하지 못한 부분이 있습니다. 바로 눈 오는 날의 주행입니다. 눈이 내리면 차선을 비롯해 경계를 구분하기 어려워집니다. 라이다 센서의 경우 눈이 내리면 제 기능을 발휘할 수 없습니다. 비나 안개도 극복해야할 과제중 하나입니다. 자율주행기술이 상용화로 가기 위해서는 이런 극복해야할 문제들이 많이 남아있습니다.

Q. 우리나라의 자율주행차 연구와 시장은 현재 어떤 상태인가?
A. 지금의 우리나라 자율주행차 시장은 과거 스마트폰 시장과 비슷한 부분이 많습니다. 우리나라에 처음 스마트폰이 등장하자 우리나라 핸드폰 업계에는 큰 변화가 일어났습니다. 흐름에 뒤처진 수많은 핸드폰 제조사들이 사라졌습니다. 가장 뛰어난 하드웨어를 만드는 몇몇 회사만이 살아남고 컴퓨터 기업인 ‘애플’과 IT기업인 ‘구글’이 스마트폰 시장을 양분하는 형태가 됐습니다.

이들은 핸드폰을 만든 것이 아니라 핸드폰 안에 들어가는 컴퓨터 플랫폼을 만들어 낸 것입니다. 기본적으로 통신을 위해 핸드폰을 구매하지만 우리가 구매하는 것은 더 이상 핸드폰이 아니게 됐습니다. 우리는 핸드폰의 기본적인 요소들을 갖춘 컴퓨터를 구매하고 있습니다. 과거 핸드폰 구매 시 선택의 기준은 통화품질이었습니다. 그러나 이제는 아무도 통화품질을 따져가며 핸드폰을 구매하지 않습니다. 새로운 플랫폼의 등장이 기존 시장에 큰 변화를 가져온 것입니다.

자율주행기술도 이와 마찬가지입니다. 자율주행차는 자동차 안에 컴퓨터 플랫폼이 들어가는 것입니다. 안전성, 연비, 친환경은 이제 기본적인 요소가 됐습니다. 자율주행기술을 그저 자동차 기술의 하나로만 본다면 과거 스마트폰이 등장했을 때처럼 몇몇 기업은 뒤처질 것입니다. 본격적으로 자율주행차 시대가 열리면 많은 자동차 제조회사들은 큰 변화를 맞을 것입니다. 자율주행 시대를 대비하는 한 예로, 미국의 자동차 제조업체 G사는 자율주행기술 연구와 함께 카셰어링 사업을 선언했습니다. 자율주행차 시대가 시작되면 자동차 업계에 다가올 변화를 예상하고 준비하는 것입니다.

자율주행 시대가 오면 소비자들은 둘로 나뉠 것입니다. 하나는 명품을 사는 부류. 자동차에서 명품이란 유럽의 스포츠카 혹은 최고급 세단과 같은 차들을 말할 수 있을 것입니다. 이 부류는 명차를 운전한다는 자부심을 가지고 있습니다. 최상의 차량이 주는 운전의 즐거움을 누리는 것입니다. 이런 소비층을 대상으로 하는 회사들은 자율주행 연구에 대한 필요성을 크게 느끼지 못할 것입니다.

그러나 앞서 말한 G사 고객의 경우, 자율주행차가 등장하면 차를 구매하지 않고 자율주행 서비스를 이용하려 할 것입니다. 그렇기 때문에 G사가 카셰어링 서비스를 준비하는 것입니다. 우리가 보통 택시를 탈 때 자동차 브랜드를 보고 타지 않는 것처럼 셰어링 서비스도 브랜드보다는 편의성에 초점을 두게 될 것입니다.

다가올 자율주행차 시대에 대비해 빠르게 서비스를 개발해서 시장을 선점하겠다는 의도가 있는 것입니다. 각 자동차회사들은 자신들이 명품에 속하는지 아닌지 잘 생각해볼 필요가 있습니다. 자신들에게 맞는 시장전략을 준비하지 않으면 사라져간 핸드폰 제조업체들과 같은 운명을 맞이할 수도 있으니까요.

Q. 앞으로 어떤 방향으로 연구를 이어갈 것인가?
A. 우리 연구실은 기본적으로 인공지능을 기반으로 하는 자율주행차를 만들고 있습니다. 자율주행차가 인공지능을 통해 인지, 판단, 제어를 할 수 있도록 하는 것이 저희 연구의 큰 흐름입니다. 궁극적으로 사람의 인지 능력과 판단 능력을 능가하는 제어기(Agent)를 개발하는 것이 목표입니다.

자율주행 차량의 구현 비용을 1만 달러 이하로 낮추는 것이 또 하나의 목표입니다. 앞으로는 엔디비아의 GPU 플랫폼을 사용하지 않고 경량화된 자체 프로세서를 탑재할 예정입니다. 2호차부터는 센서를 내장하고 거의 개조 없이 차량 전용 프로세서를 게이트웨이에 연결하기만 하면 자율주행이 가능하도록 하는 것이 목표입니다. 자율주행차가 동급 사양의 차에 비하여 1천만 원 정도 추가 비용이 필요한 옵션 선택 사양이 될 때 자율주행은 대중화 될 수 있다고 생각합니다. ES