편집자주: 차원용 아스팩미래기술경영연구소 대표이자 국가과학기술심의회 ICT융합 전문위원은 현재 글로벌 드론 특허 600개를 분석 중에 있다. 이번 특허는 그 중 LG전자가 2015년 11월에 등록한 ‘스마트폰의 앱 실행과 UI/UX를 통해 UAV 제어와 피드백을 받는 방법’에 관한 내용이다. 특별한 원격 디바이스(remote device) 없이도, 일반 스마트폰으로 UAV와 패어링되는(pairing) ‘앱’을 다운받아, 앱을 실행하고, UI/UX를 통해 UAV를 제어하고, UAV로부터 비행경로나 사진, 동영상 등의 피드백을 받는 방법에 관한 것이다. 이때 스마프폰과 UAV는 통신장치를 통해 데이터가 교환된다. 이 특허는 아이디어가 좋은 것으로 평가되어 먼저 공개한다. 올 10월에 ‘글로벌 드론 특허 집중분석(가칭)’으로 보고서가 발간될 예정이다.


본 특허는 특별한 원격 디바이스(remote device) 없이도, 일반 스마트폰으로 UAV 와 패어링되는(pairing) ‘앱’을 다운받아, 앱을 실행하고 UI/UX를 통해 UAV를 제어하고, UAV로부터 비행경로나 사진이나 동영상 등의 피드백을 받는 방법에 관한 것이다. 이때 스마프폰과 UAV는 통신장치를 통해 데이터가 교환된다.  

글 | 차원용(wycha@nuri.net), 아스팩미래기술경영연구소 대표, 국가과학기술심의회 ICT융합 전문위원

LG ELECTRONICS INC.(Seoul, KR)는 2015년 11월에 ‘스마트폰의 앱 실행과 UI/UX를 통해 UAV 제어와 피드백을 받는 방법(UNMANNED AERIAL VEHICLE CONTROL APPARATUS AND METHOD, 20150316927, 5 Nov 2015)’이라는 특허를 등록했는데, 이는 2014년 4월 30일에 한국에 특허 출원한 출원번호(10-2014-0052081)를 여기에 통합한 것이다.  

본 특허는 특별한 원격 디바이스(remote device) 없이도, 일반 스마트폰으로 UAV 와 패어링되는(pairing) ‘앱’을 다운받아 앱을 실행하고 UI/UX를 통해 UAV를 제어하고, UAV로부터 비행경로나 사진이나 동영상 등의 피드백을 받는 방법에 관한 것이다. 이때 스마프폰과 UAV는 통신장치를 통해 데이터가 교환된다. 

▲ 그림 1 〈출처: USPTO〉

〈그림 1〉은 스마트폰의 앱(100)을 이용해 UI/UX로 200의 UAV를 제어하는 환경을 나타낸 것이다. 디지털 디바이스 100은 스마트폰, 태블릿, 컴퓨터 혹은 PDA가 될 수 있으며, UAV는 2개의 로터(rotors)를 가진 혹은 4개 혹은 8개를 가진 UAV가 될 수도 있다.  

▲ 그림 2 〈출처: USPTO〉

〈그림 2〉는 100의 스마트폰과 200의 UAV의 구성요소들로, 120은 디스플레이 장치, 110은 프로세서, 130은 커뮤니케이션 장치이고, 220은 로터 등의 추진장치다. 

〈그림 3A〉와 〈그림 3B〉는 UAV의 비행경로 피드백(flight trajectory feedbacks)을 설명하는 그림이다. 스마트폰은 특정 앱을 실행하면서 작업이나 지시 데이터를, 130과 230의 커뮤니케이션 장치를 통해 UAV에 보낸다. 그러면 UAV는 작업이나 지시에 따라 비행경로 피드백을 스마트폰으로 보내는 것이다. 

〈그림 3A〉에서 사용자는 스마트폰에서 맵(120)을 실행하고 있다. 맵의 출발지와 도착지에 따라 UAV는 출발지와 도착지를 실제 비행하면서 이들 구간의 비행경로 피드백을 보내는 것이다.  

▲ 그림 3A 〈출처: USPTO〉 

더 나아가 〈그림 3B〉에서 보듯이 카메라 앱(120)의 실행과 지시에 따라 UAV는 나선형 유형(spiral shape)으로 비행하면서 비행경로 피드백을 보내는 것이다. 수 많은 비행경로 피드백 중에서 오로지 앱을 실행하는 특정 시간에 사용자의 특정 지시 혹은 작업에 대응하는 피드백만 보내는 것이다. 이때 사용자는 스마트폰에 나타나는 비행유형중 나선형 유형의 아이콘을 터치 혹은 클릭한 경우다. 

▲ 그림 3B 〈출처: USPTO〉

〈그림 4A~4E〉는 다른 비행경로 피드백을 설명하는 그림이다. 비행 시작 포인트(start point)와 마침 포인트(end point)에 따라 각기 다른 피드백을 받을 수 있는데, 예를 들면 수직 비행, 수직 하강, 좌우 이동, 나선형 이동, 원형 이동(circular movement), 회전 이동 등이다. 그리고 이러한 피드백은 캐릭터, 숫자, 그림이나 도형, 혹은 마크(mark) 형태로 구성할 수 있다.

UAV는 x-y-z의 3D 좌표(coordinates)를 가지고 있기 때문에, 〈그림 4A〉와 〈그림 4B〉처럼 x-y-z 축 방향으로 회전할 수 있다. 또한 〈그림 4C〉처럼 별 모양으로 비행할 수 있고 어떠한 모양으로도(arbitrary figure) 비행할 수 있으며, 〈그림 4D〉처럼 V-형태로 비행하면서 피드백을 제공할 수 있다. 또한 〈그림 4E〉처럼 UAV 스스로 z-y-z축으로 회전할 수도 있다. 이것은 어디까지나 앱을 실행하면서 이러한 특수 아이콘을 터치하면 UAV는 그대로 비행하는 것이다. 

▲ 그림 4A~4E 〈출처: USPTO〉

〈그림 5A〉는 또 다른 유형의 비행경로 피드백으로 맵 상의 지도 위의 실제환경을 비행하면서 피드백을 보내는 것이다. 장애물들인 나무들이 있고 빌딩도 있다. 

▲ 그림 5A 〈출처: USPTO〉

UAV에는 카메라, 적외선 센서, GPS 센서, 자이로 센서, 초음파 센서 등이 있기 때문에, 크기와 높이와 위치를 감지해 장애물을 피하며 비행하고, 이러한 정보들과 비행경로들을 피드백으로 보내주는 것이다. 환경의 정보뿐만 아니라 스마트폰과 UAV가 떨어져 있는 거리와 UAV의 고도까지 알려주는 것이다. 국토조사, 도로조사, 교통체증 조사 등에 유용하게 쓰일 것으로 보인다. 

바로 〈그림 6A〉는 이러한 피드백들을 스마트폰으로 받는 경우를 설명하는 그림이다. UAV의 GPS좌표와 고도의 정보가 보인다. 〈그림 6B〉는 UAV를 소환하는(Summon) 것으로, 이때 소환이라는 것은 ▲ 스마트폰과 멀리 떨어져 있는 UAV를 지정된 거리(designated distance) 내로 부르는 것과 ▲ 앱과 UAV를 패어링(pairing), 즉 미러링(mirroring) 시키는 것을 말한다. 그러므로 맵을 실행하다가 카메라 앱을 실행시키면, 카메라 앱과 쌍을 이루게 하는 것으로, 그 방법은 UI/UX를 통해 이루어진다.

▲ 그림 6A & 6B〈출처: USPTO〉

〈그림 7A~7E〉는 UAV와 스마트폰을 패어링 시키는 UI/UX를 설명하는 그림이다. 〈그림 7A〉에서 151은 UAV의 이미지이고, 155는 특정 앱의 실행 디스플레이, 아이콘, 기타 이미지 등의 앱 리스트(app list)다. 앱 리스트는 실제 환경에 있는 UAV의 위치에서 가까운 거리에 있는 특정 리스트들이다. 사용자는 좌우로 밀거나 스코롤링(scrolling)해 디스플레이에 나타나는 앱의 이미지를 선택할 수 있다. 〈그림 7B〉는 UAV의 이미지를 좌우로 밀면 하단에 UAV와 가까운 앱 리스트들 혹은 특정 앱의 이미지들이 나타난다. 〈그림 7C〉는 151의 UAV 이미지를 하단으로 드래그해 좌우로 밀면 앱 리스트들이 나타난다. 〈그림 7D〉는 155의 앱 리스트들이 수직으로 나열되어 위와 아래로 드래그 하거나 스코롤링해 찾는 경우다.

▲ 그림 7A~7D 〈출처: USPTO〉

〈그림 7E〉는 151의 UAV의 이미지를 드래그해 155의 앱 리스트에 있는 위쪽의 앱과 패어링 시키는 경우이고, 〈그림 7F〉는 151의 UAV 이미지를 드래그해 오른쪽에 있는 앱과 패어링 시키는 경우다.

▲ 그림 7E~7F 〈출처: USPTO〉 

〈그림 8〉은 300의 위성을 이용해 UAV를 제어하는 방법을 설명하는 그림이다. 스마트폰 100에는 GPS 수신장치가 탑재돼 있다. 이때 앱은 맵이 될 수도 있고 내비가 될 수도 있으며, 스마트폰의 위치정보를 알려주는 어떠한 앱이 될 수 있다. 예를 들어 맵 혹은 내비 앱을 실행시키면 120의 디스플레이에는 지도 맵이 나타난다. 그리고 지도 상에 스마트폰의 위치가 나타난다. 

UAV(200)도 GPS 수신기가 있다. 따라서 스마트폰으로 UAV의 위치정보를 받을 수 있다. 그리고 UAV의 위치도 지도에 나타난다. 그 결과 스마트폰의 위치와 UAV의 위치가 지도에 나타난다. 이때 만약 UAV가 내비게이터(navigator) 역할을 하고 있다면, UAV는 사전에 정해진 비행경로 상에서 스마트폰과 정해진 거리로 이동한다. 그리고 사용자는 UAV의 이동방향을 151과 같이 시각적으로 확인할 수 있다. 그리고 157과 같이 목적지 방향을 결정할 수 있다. 이때 스마트폰과 UAV사이의 거리가 너무 짧으면, GPS 오차(최고 15미터)가 나기 때문에 지도상에 나타나지 않을 수도 있다. 또는 UAV는 스마트폰이 움직이는 대로 따라 비행할 수 있다.

▲ 그림 8 〈출처: USPTO〉

〈그림 9A〉는 카메라의 이미지 레코딩 앱(image recording app)을 이용해 UAV를 제어하는 방법을 설명하는 그림이다. UAV에는 카메라가 탑재되어 있다. 스마트폰으로 이미지 레코딩 앱을 실행하면 UAV의 카메라와 패어링되고, UAV에 요청하는 이미지를 받아 120의 화면에 이미지를 디스플레이 할 수 있다. 이미지는 사진이 될 수도 있고 비디오가 될 수도 있다.

사진이나 비디오뿐만 아니라, 양쪽의 마이크로폰을 이용해 소리 레코딩 앱을 패어링하고 소리 데이터도 받을 수 있다. 그리고 이러한 데이터들을 필요한 곳에 공급할 수 있고 SNS에 공유할 수 있다. 

▲ 그림 9A 〈출처: USPTO〉

〈그림 9B〉는 UAV로 받은 사진 이미지를 검토하는 과정에, 좀더 확대(zoom-out)해 보고자 하는 경우 손으로 확대하면 이 UI/UX 데이터가 UAV로 전송되고, 그러면 UAV는 확대하고자 하는 부분으로 날아가 근접하여 자세히 찍어 이미지 피드백을 주는 것이다. 

이 UI/UX 피드백은 교량이나 다리조사, 전선이나 도로의 인프라 조사, 빌딩조사, 문화재로 관리하는 오래된 나무조사 등에 유용하게 쓰일 것으로 보인다. 

▲ 그림 9B 〈출처: USPTO〉