차원용 아스팩미래기술경영연구소 대표이자 국가과학기술심의회 ICT융합 전문위원은 현재 글로벌 드론 특허 600개를 분석 중에 있다. 이번 특허는 그 중 2040년의 드론을 위한 차세대 UI·UX인 마술 지팡이에 관련된 특허에 관한 내용이다. 이 글은 드론 시대가 오고 있으며, 우리 생활에 깊숙하게 파고 들어와 디지털 혁명을 가속화할 것임을 예고하고 있다. 이 특허는 아이디어가 좋은 것으로 평가되어 먼저 공개한다. 올 10월에 ‘글로벌 드론 특허 집중분석(가칭)’으로 보고서가 발간될 예정이다. (편집자 주)
Skydio, Inc.(Burlingame, CA, US)는 2015년 12월에 ‘UAV(FDA)를 위한 차세대 마술 지팡이 인터페이스와 상호작용 패러다임(MAGIC WAND INTERFACE AND OTHER USER INTERACTION PARADIGMS FOR A FLYING DIGITAL ASSISTANT, 20150370250, 24 Dec 2015)’이라는 특허를 등록했다.
특허 등록 배경
본 스카이디오(Skydio) 특허에서는 사용자의 스마트폰이나 원격 디바이스(Remote device)를 ‘포터블 멀티기능 디바이스(PMD, Portable Multifunction Device)’라고 표현하고 있으며, 무인항공기(UAV)를 ‘날으는 디지털 어시스턴트(FDA, Flying Digital Assistant)’라고 표현하고 있다. 그만큼 드론 시대가 오고 있으며, 우리 생활에 깊숙하게 파고 들어와 디지털 혁명을 가속화할 것이라는 것을 예고하는 것이다. 이것이 우리 생활을 절대적으로 바꿀 제4차 산업혁명의 한 예다.
대략 2040년이 되면, 1인당 1대의 FDA를 갖고 다니게 되어 지금의 원격 디바이스보다 훨씬 쉽고 간편한 사용자 인터페이스를 제안하고 있다. 영화를 촬영(cinematographer)할 때나 비디오를 촬영할 때, PMD에서 멀티터치 제스처(gestures)를 입력하면, 이에 반응해서 FDA가 여러 방향으로 움직이고 비행할 수 있는 최첨단의 차세대 마술 지팡이 인터페이스(Magic wand interface)와 사용자 상호작용 뉴 패러다임(User interaction new paradigms)을 제한하고 있는 특허다. 따라서 본 특허를 통해 2040년경의 드론 사회를 엿볼 수 있는 절호의 기회다.

특허분석

PMD를 이용한 FDA와의 통신
〈그림 1〉은 사용자 102가 104의 PMD를 이용해 116의 네트워크로 FDA 100과 통신하는 그림이다. FDA는 쿼드롭터이고, 112는 비행제어 장치이며, 114는 카메라나 라이다(LiDAR) 등의 센서 장치다.

이때 카메라는 일반 UAV에 달린 카메라가 아니라 오디오, 이미지, 비디오를 어느 각도에서도 자유롭게 촬영할 수 있는 완전 자동 카메라고, FDA도 훨씬 유연한 무인기다. 따라서 일반 사용자들이 쉽게 사용할 수 있어 본 특허의 사용자 인터페이스는, 상호작용 패러다임이 차세대로 이동할 것을 보여주고 있다. 
바로 찍은 이미지들을 스크립트로 처리해 SNS를 통해 공유한다고 생각해보라. 일상생활자, 시민기자, 예술가, 건축가, 학생, 레저인, 스포츠인들이 모두 1~2대의 값싼 드론을 지니고 다닌다고 생각해보라. 일대 혁명이 일어나고 있는 것이다. 분명 2040년이면 이러한 레벨 업(Level-up)된 무인기와 PMD가 등장할 것이다.

FDA와의 로컬라이제이션 및 내비게이션

〈그림 2〉는 FDA와 로컬라이제이션 및 내비게이션(Localization and Navigation)을 설명하는 그림 200의 로컬라이제이션 시스템으로, 내비게이션을 안내하고 FDA 100에 의해 이미지와 비디오를 수집하는 그림이다. 이 그림은 하나 이상의 하부시스템을 사용해 ① FDA 100의 상대적인 위치와 방향, ② 카메라가 수집할 대상(주제)의 상대적인 위치와 방향, ③ 사용자 102가 사용하는 PMD 104의 상대적인 위치와 방향이 결정된다. 그리고 이러한 상대적인 위치와 방향 데이터는 FDA 100으로 하여금 수집할 대상을 내비하고 추적하는데 사용된다.
로컬라이제이션 시스템인 200은 ①100의 FDA, ② 여러 대의 GPS 인공위성들인 202로 구성되는 GPS 시스템, ③ 206의 로컬라이제이션 데이터인 로케이션 데이터에 접속할 수 있는 멀티플 셀룰러 안테나인 204로 이루어진 셀룰러 시스템, ④ 206의 로컬라이제이션 데이터인 로케이션 데이터에 접속할 수 있는 멀티플 Wi-Fi 라우터들인 208로 이루어진 Wi-Fi 시스템, ⑤ 사용자 102와 PMD 104로 구성된다. 점선의 214는 카메라가 보는 범위(시야)이고, 타원형 점선인 212는 Wi-Fi 라우터들인 210으로부터 나오는(emanating) 전파들이다.


FDA와 PMD의 위치ㆍ방향 계상 방법
〈그림 3〉은 FDA 100과 PMD 104가 상대적인 위치와 방향을 계산하는 방법을 설명하는 그림이다. FDA 100과 PMD 104는 위상배열(phased array)의 Wi-Fi 안테나를 통해 RF 신호를 송수신한다. 그러면 FDA와 PMD는 들어오는 각각의 신호들의 파우어 수준(power levels)과 상 차이(phase difference)를 감지해서 신호들의 도착 각(AoA, Angle of arrival)을 계산한다.
예를 들어 PMD 104는 FDA 100에서 송신된 304의 RF 신호의 θ1의 AoA를 결정하고, 반대로 FDA 100은 PMD 104에서 송신된 302의 θ2인 AoA를 결정한다. 이들 AoA의 정보는 FDA나 PMD에 탑재된 관성측정장치(IMU, inertial measurement unit)의 자이로들(gyroscopes)과 가속도들(accelerometers)에서 수집한 속도(velocity)와 방향(orientation)과 중력(gravitational forces)의 정보들과 합쳐지고, 그 결과 FDA와 PMD 사이의 상대적인 위치와 방향을 추론하는 것이다.
Wi-Fi 송신기 배열(array of Wi-Fi transmitters)과 신호 모니터들(signal monitors)은 디바이스를 가지고 있지않은 사람들의 위치와 방향을 계산하는데 이용될 수 있다. 디바이스를 지니지 않은 수동적인 사람들은 디바이스가 없기 때문에 신호를 보내지 않지만, 이들의 위치와 방향을 결정할 수가 있다.


사람의 위치ㆍ방향 계산 방법
〈그림 4〉의 시스템 400은 이와 같은 디바이스 프리의 수동 로컬라이제이션 사물(device-free passive localization of objects), 즉 사람의 위치와 방향을 계산하는 방법을 설명하는 그림이다. 예들 들어 402의 사람이 RF 신호를 송신하는 408의 Wi-Fi 송신기 네트워크 사이를 지나가고 있다. 이때 410의 신호 모니터들(예, 표준 무선 탐지기, standard wireless sniffers)이, 사람에 의해 방해된(interfered) RF 신호의 특성 변화를 감지한다. 이러한 RF 신호 장(signal field)의 변화인 로컬라이제이션 알고리즘(localization algorithms)를 이용하면, 사람의 출현, 사람의 타이프, 사람의 움직임 방향, 사람 위치의 상관관계(correlation)를 알아 낼 수 있다.
이러한 디바이스 프리 수동 로컬라이제이션 시스템(device-free passive localization system)인 400에 의해 수집된 정보들은 430의 Wi-Fi 커넥션을 통해 근처에 있는 FDA 100으로 보내지고, 그 결과 402 사람의 위치와 방향을 추론하는 것이다. 또한 앞서 설명했듯이 관성 측정 장치(IMU)의 정보들도 추가로 더해져 더 정확히 추론 할 수 있다.


관성 측정 장치를 이용한 위치·방향 측정

이번에는 FDA나 PMD에 탑재된 관성측정 장치(IMU)의 자이로들과 가속도들에서 수집한 사람들의 속도(velocity)와 방향(orientation)의 정보를 이용하는 예를 보자. 〈그림 5A〉의 아웃라인 550은 FDA 100의 시야(field of view)로 잡은 2차원 이미지인데, 바로 사용자 102가 한 위치에서 다른 위치로 움직인 이미지다.
이때 사용자 102의 PMD는 실제 이동한 거리 B를 결정하고, FDA 100은 이미지 상의 A를 결정한다. 그리고 FDA 100은 사용자의 PMD로부터 B의 데이터를 받는다. 그 다음 FDA 100은 이미지 상의 A와 실제 이동한 거리 B의 차이를 상관관계(correlation)로 계산해 사용자 102와 FDA 사이의 거리인 D를 결정할 수 있다. 여기에 GPS, Wi-Fi, 셀룰러 등의 데이터를 더하면 FDA와 PMD는 상대적인 FDA와 사용자의 위치와 방향과 거리와 사용자의 움직인 거리를 더 정확히 결정할 수 있다.
또 다른 측정 방법을 보자. 시각 및 관성센서를 이용한 위치ㆍ방향 측정(Visual inertial odometry) 혹은 시각적 주행ㆍ이동거리 측정(visual odometry) 방법을 사용하면 FDA 100과 PMD 104의 위치와 방향을 추측할 수 있다.
 
바로 〈그림 5B〉는 고수준의 비주얼 오도메트리(odormetery) 뒤에 숨어있는 워킹 콘셉트(working concept)을 보여주는 그림이다. 카메라는 공간을 통해 움직이면서 다양한 이미지들을 연속적으로(in sequence) 수집한다. 카메라가 움직이기 때문에, 이미지들은 프레임(frame)에서 프레임으로 변화한다.
552는 초기 시야에서 수집한 이미지이고, 554는 그 다음 시야에서 수집한 이미지이다. 다시 말해 시간이 경과함에(over an elapsed time) 따라 카메라는 첫째 위치와 방향에서 둘째 위치와 방향으로 움직이면서 552와 554의 이미지를 수집하는 것이다. 그리고 552와 554의 이미지에는 실제 물리적인 객체들인 580의 집과 102의 사용자의 리얼이미지도 수집한다.
그 다음 컴퓨터 비전 기술(computer vision techniques)이 이들 연속적인 이미지들에 적용되어, 카메라 시야에서 잡은 물리적인 특징들(features)을 감지하고 매칭시키는 것이다. 예를 들어 102 사용자의 머리 특징과 580집의 굴뚝 코너(corner of the chimney)의 특징들을 알아내고(identified) 매치시켜(matched) 그 다음 추적하는(tracked)것이다.
관성 측정 장치(IMU)의 데이터와 카메라의 데이터와 조화시키면 이미지의 특징들을 알아내고 추적할 수 있으며 시간 경과에 따라 위치와 방향을 예측할 수 있다. 여기에 FDA에 라이다(LiDar)를 탑재하면 3차원 구름의 3차원 모델까지 잡아내 이를 융합하면 더 정확한 위치와 방향을 계산할 수 있다.


고해상도 카메라를 이용한 이미지 수집
또 다른 구성으로 FDA 100에는 고해상도 카메라를 탑재할 수 있어 360도 방향의 리얼 세상을 360도 방향으로 이미지들을 수집할 수 있다. 바로 〈그림6〉은 이것을 설명하고 있는데, 602가 고해상도 카메라다.
각 로터에 두 대의 고해상도 카메라를 붙이면 모든 각도를 다 볼 수 있어, 컴퓨터 비전 알고리즘(computer vision algorithms)을 사용하면 모든 각도의 깊이까지 복원할 수 있어(depth recovery) 3차원 이미지나 비디오로 렌더링 할 수 있다. 그림의 점선은 카메라가 보는 시야들이다. 때에 따라서는 두대의 카메라가 아니라 그 이상도 탑재할 수 있고, 적외선 카메라가 될 수도 있으며 라이다가 될 수도 있다.


마술 지팡이를 이용한 드론 제어

자 이제부터 본 특허의 핵심인 마술 지팡이(magic wand)를 보자. 바로 〈그림 7A〉는 사용자가 802a에서 804a로 806a으로 연속적으로 움직이면서, 사용자가 마술 지팡이 기술을 이용해 PMD 104로 FDA 100을 제어하는 것을 설명하는 그림이다. 그러면 PMD 104의 제어에 따라 FDA 100이 이에 반응하는 것이다. 이것이 바로 사용자 인터페이스(User interface)다. 사용자는 PMD의 터치스크린을 통해 버튼을 누르기만 하면 된다.
사용자가 802a의 위치에 있을 때 FDA와 PMD 사이의 거리는 점선으로 표시된 810a의 D이다. FDA는 자동모드로 날고 있지만 PMD와의 거리와 사용자의 위치와 방향에 따라 움직이는 것이다. 똑 같은 고도와 거리를 유지하면서 사용자가 802a → 804a → 806a으로 움직이면, 이에 반응해 FDA가 따라 오게 된다. 따로 오는 이유는 앞서 설명한 거리-위치-방향을 감지하기 때문이다.
 
〈그림 7B〉는 또 다른 예로, 사용자가 PMD 104를 이용해 FDA와의 거리를 증가시키는 것이다. 사용자는 터치스크린의 슬라이더 바(slider bar)를 사용해 제어 명령을 내리면, 이에 반응하여 FDA는 거리인 D를 늘리거나 줄이는 것이다. 그림에서는 상대적인 PMD의 위치와 방향은 그대로 유지한 것을 보여준다. 따라서 고도 각(angle of elevation)인 θ는 그대로 유지되면서 FDA는 거리를 늘리거나 줄이는 것이다. 이것을 설명하는 좋은 예가 있다.
바로 연(kite)을 날린다고 생각하면 된다. 줄에 달린 연을 감거나 풀어서 거리를 조정하는 것과 같다. 단 이 경우 줄이 안 보이는 줄 혹은 밧줄이다(invisible tether or string).
또한 사용자가 PMD를 몸으로부터 5인치 멀리 움직이면 이에 반응해 FDA도 5인치 먼 거리를 유지하는 것이다. PMD를 움직이는 대로 FDA도 똑같이 반응하기 때문에 마술 지팡이라는 용어를 사용한 것이다.
 
바로 〈그림 7C〉가 이것을 설명하는 그림이다. 사용자 102는 PMD 104의 방향을 변경해 FDA의 고도를 마음대로 제어하는 것이다. 예를 들어 사용자가 PMD의 피치각(pitch)을 아래로, 즉 어느 정도의 각으로 변화시키면, FDA는 지상과의 거리인 X를 유지하다가 고도를 낮추는 것이다. 다시 말해 FDA는 D1에서 D2로 거리를 줄이고 θ1에서 θ2로 고도를 낮추는 것이다. 또한 PMD의 방향에 따라 고도를 높이거나 낮출 수 있는데, 사용자가 PMD를 5인치 낮추면 FDA도 고도를 5인치 낮추는 것이다.
 
〈그림 7D〉의 FDA 100은 상대적인 참조 포인트(relative reference point)인 사용자 102 혹은 PMD 104에 대해 실린더 극 좌표(Cylinder polar coordinate system)로 비행하도록 구성되어 있다. 따라서 PMD를 가진 사용자가 터치스크린에 움직이는 제스처(sweeping gesture)를 입력하면, 이에 반응해 FDA는 정상 탄젠트(normal tangent)에서 축 방향인 z를 따라 움직이는 것이다.
사용자가 입력하는 제스처에 따라 FDA는 ez와 eθ로 가속할 수 있다. FDA100은 일정반경(Constant radius)인 R에서 보이지 않는 실린더 평면(invisible cylindrical plane)을 따라 움직인다. 사용자는 또한 z와 θ를 유지하면서 FDA를 er 방향으로 가속할 수 있다. 사용자는 PMD의 버튼을 누른 상태에서 손가락을 위와 옆과 45도 각도로 밀면(slide) 각각 ez와 er 와 eθ 방향으로 FDA를 가속할 수 있다.
 
〈그림 7 E 〉의 FDA100은 또 다른 유형의 구형 극 좌표 시스템으로(Spherical polar coordinate system) 비행하도록 구성되어 있다. PMD를 가진 사용자가 입력하는 제스처에 따라 FDA는 ?Φ와 ?θ로 가속할 수 있다. FDA100은 일정반경인 R에서 보이지 않는 구형 평면(invisible spherical plane)을 따라 움직인다. 사용자는 PMD의 버튼을 누른 상태에서 손가락을 위와 아래로 문지르면 er 방향으로 FDA를 가속할 수 있다. 이것은 어디까지나 소프트웨어의 기능으로 여러 다양한 제스처에 따른 가속 방향을 사전에 코드로 정하면 되는 것이다.
 
〈그림 8〉는 기상천외한 아이디어다. 102는 사용자인데 스키 점퍼(ski jumper)로 스키장에서 점핑하는 (jumping) 것을 사진으로 찍는 전문 스키 사진사(ski photographer)다. 점핑하기 전에 FDA를 높이 들어 25피트(7.62m) 상공으로 던지는 것이다. 그러면 FDA 100은 910의 점선으로 된 포물선 곡선(dotted parabolic curve)으로 비행하게 되는데, 바로 FDA 100의 현 지점(그림 상의)에서 스키 점퍼의 180도 회전하는 점핑 장면을 찍는 것이다. 단 이 경우에 PMD는 스키 점퍼의 스키 옷에 부착되어 있거나 주머니 안에 있다.
 
〈그림 9〉는 PMD 104를 이용해 FDA100을 제어해서 FDA가 찍어 보내온 사진을 스크립팅하는(scripting) 것을 설명하는 그림이다. 이때 스크립팅이란 마을의 맵을 업데이트하는 것인데, 이를 재-로컬라이제이션 맵(Relocalization map)이라 한다.
이를 위해서는 사전에 FDA 100을 이용해 마을의 3D 모델 맵을 획득해야 하는데 이를 빅데이터라고 한다. 바로 1010a가 3D 모델로 PMD 104에 저장된 것이다. 사용자는 1020a의 비행경로를 생성하고, 이 비행경로대로 PMD를 움직이면 FDA가 실제 환경인 1010b에서 같은 비행경로인 1020b로 날아 이미지를 수집하고 PMD로 보내면, 이를 재-작업해 맵을 업데이트하는 것이다.
 
〈그림 10〉은 사용자 102인 스키 타는 사람(skier)이 PMD 104의 인터페이스를 통해 FDA 100으로 하여금 미리 정한 비행패턴대로(preset flying patterns) 날아 따라오게 하는 것을 설명하는 그림이다. 사용자 102는 산에서 내려오기 전에, 1110에서 보는 바와 같이 PMD 104의 터치스크린에 나타난 비행패턴들인 1150-1152-1154 중 하나를 선택하고, 그 다음 PMD를 옷에 넣고 산에서 내려오면, 그때부터 FDA는 사용자와 일정한 거리와 고도를 유지하면서 비행하는데, 그냥 내려오는 것이 아니라 스키 장면을 모두 찍으면서 사용자를 따라 오는 것이다.
 
 
 
〈그림 11A~11B〉는 사용자 102가 사전에 정한 멀티터치 제스처(predefined multitouch gestures)를 이용해 FDA 100을 제어해 비디오를 촬영하는 그림이다.
예를 들어 제스처에는 작게 하는 핀치(pinch, zoom in), 크게 하는 줌-아웃(zoom out) 등이 있다. 이를 통해 FDA의 고도를 높이고 낮추고, 카메라의 초점 길이(focal length)를 조절하고, 이미지 프로세서로 하여금 수집된 이미지를 제스처에 맞게 조절하도록 하는 것이다. 또한 손가락 두 개로 터치스크린을 스크롤 다운하면(scroll down), FDA는 사용자와 일정거리(Constant distance)를 유지하면서 수직 하강하고, 스크롤 업하면(scroll up) 수직 상승한다.
 
〈그림 11C〉는 회전 제스처(rotate gesture)를 이용하는 경우다. 두 손가락을 이용해 시계방향(Clockwise direction)이나 시계반대방향(Counter clockwise direction)으로 움직이면 FDA가 이에 반응해서 회전하면서 이미지나 영상을 촬영하는 것이다.
다시 말해 FDA는 상대적인 참조 포인트인 사용자나 PMD 주위를 도는데(orbit), 사용자나 PMD와의 일정 거리와 고도를 그대로 유지하면서 회전하는 것이다.
 
〈그림 12〉은 FDA 구성요소이고, 〈그림 13〉는 PMD의 구성요소를 설명하는 그림이다. 이는 구성요소들이기 때문에 하나씩 일일이 설명하지 않고 독자들에게 맡긴다.


시사점
중요한 것은 발상과 상상력을 바탕으로 하는 아이디어다. 그런데 상상은 그저 나오는 것이 아니다. 이와 같은 미래의 특허를 분석하다 보면, 처음에는 모방이겠지만 그 다음엔 다양하고 독특한 상상력의 아이디어가 나오는 것이다.
본 특허는 1대의 FDA이지만 여러 대와 인터페이스한다고 상상해보라. 멀티 마술 지팡이가 필요할 것이다. 아예 클라우드에서 수백 대의 FDA를 제어한다고 상상해보라.
축구장에서 플레이하는 축구선수들 머리위를 추적하는 FDA를 상상해보라. 생생한 AR/VR을 감상할 수 있을 것이다. 2040년에 드론이 도로 위를 난다고 가정해보라. 드론이 날 수 있는 별도의 도로와 도로위의 공중 인프라인 몇 층으로 이루어진 공중회랑들(air corridors)이 있어야 하고, 가로등들은 새로운 통신 시스템으로 변모할 것이다. 집집마다 드론이 1~2대 있다고 상상해보라. 드론이 앉아 있을 수 있는 폴대와 안테나가 필요할 것이고, 아예 드론들이 집안으로 들어와 찬장에 앉아 있을 수도 있을 것이다. 지금 거의 사용하지 않는 KT의 공중전화박스를 상상해보라. 모두가 택배를 받는 새로운 타입의 이동 우체통으로 바뀔 것이다