‘노커(Knocker)’ 기술은 스마트폰을 사물에 두드리는 것만으로 사물을 인식할 수 있다.

이번 연구 결과는 기존 방식과 달리 카메라나 외부 장치를 사용하지 않아 어두운 곳에서도 식별에 전혀 지장이 없고, 추가 장비 없이 스마트폰만으로 사물 인식을 할 수 있어 기존 사물 인식 기술의 문제를 해결할 수 있을 것으로 기대된다.



공태식 박사과정, 조현성 석사과정, 인하대학교 이보원 교수가 참여한 이번 연구 결과는 9월 13일 유비쿼터스 컴퓨팅 분야 국제 최우수학회 ‘ACM 유비콤(ACM UbiComp)’에서 발표됐다.

기존의 사물 인식 기법은 일반적으로 두 종류로 나뉜다. 첫째는 촬영된 사진을 이용하는 방법으로 카메라를 이용해 사진을 찍어야 한다는 번거로움과 어두운 환경에서는 사용하지 못한다는 단점이 있다. 둘째는 RFID 등의 전자 태그를 부착해 전자신호로 구분하는 방법으로 태그의 가격 부담과 인식하고자 하는 모든 사물에 태그를 부착해야 한다는 비현실성 때문에 상용화에 어려움을 겪었다.



연구팀이 개발한 노커 기술은 카메라와 별도의 기기를 쓰지 않아도 사물을 인식할 수 있다. 노커 기술은 물체에 ‘노크’를 해서 생긴 반응을 스마트폰의 마이크, 가속도계, 자이로스코프로 감지하고, 이 데이터를 기계학습 기술을 통해 분석해 사물을 인식한다.

연구팀은 책, 노트북, 물병, 자전거 등 일상생활에서 흔히 접할 수 있는 23종의 사물로 실험한 결과 혼잡한 도로, 식당 등 잡음이 많은 공간에서는 83%의 사물 인식정확도를 보였고, 가정 등 실내 공간에서의 사물 인식 정확도는 98%에 달하는 것을 확인했다.

연구팀의 노커 기술은 스마트폰 사용의 새로운 패러다임을 제시했다. 예를 들어 빈 물통을 스마트폰으로 노크하면 자동으로 물을 주문할 수 있고, IoT 기기를 활용하여 취침 전 침대를 노크하면 불을 끄고 알람을 자동 설정하는 등 총 15개의 구체적인 활용 방안을 선보였다.

이성주 교수는 “특별한 센서나 하드웨어 개발 없이 기존 스마트폰의 센서 조합과 기계학습을 활용해 개발한 소프트웨어 기술로, 스마트폰 사용자라면 보편적으로 사용할 수 있어 의미가 있다”라며 “사용자가 자주 이용하는 사물과의 상호 작용을 보다 쉽고 편하게 만들어 주는 기술이다”라고 말했다.

1. 연구 배경

기존의 사물 인식 기법은 일반적으로 두 종류로 나뉜다. 첫째는 촬영된 사진을 이용하는 방법으로 카메라를 이용해 사진을 찍어야 한다는 번거로움과 어두운 환경에서는 사용하지 못한다는 단점이 있다. 둘째는 RFID 등의 전자 태그를 부착해 전자신호로 구분하는 방법으로 태그의 가격 부담과 인식하고자 하는 모든 사물에 태그를 부착해야 한다는 비현실성 때문에 상용화에 어려움을 겪었다.

최근 CMU Chris Harrison 교수가 이끄는 Future Interfaces Group 연구팀에서 전자기기가 내는 독특한 전자파 (Electromagnetic noise)를 이용한 사물 인식 기법을 제시하였지만, 상용 스마트폰 외에 추가적인 안테나 장착이 필요하며 사물 인식 범위가 전자기기로 제한된다는 한계가 있다.



2. 연구 내용

이 연구는 카메라와 별도의 기기를 쓰지 않고 상용 스마트폰으로 사물을 인식할 수 있는 ‘노커’ 기술을 제시한다. 노커 기술은 물체에 ‘노크’를 해서 생긴 반응을 중 소리를 스마트폰의 마이크, 진동을 가속도계와 자이로스코프로 감지하고, 이 데이터를 기계학습 중 한 종류인 Support Vector Machine을 통해 분석해 사물을 인식한다. 노커는 이러한 멀티 모달(mult-modal) 센싱 방법을 통하여 노이즈에 취약한 소리의 한계를 모션 센서 (가속도계 및 자이로스코프) 로 극복하는 기술이며, 스마트폰에 탑재되어 있는 센서만을 이용하므로 추가적인 장비가 필요 없다는 것이 장점이다.

연구팀은 책, 노트북, 물병, 자전거 등 일상생활에서 흔히 접할 수 있는 23종의 사물로 실험한 결과 혼잡한 도로, 식당 등 잡음이 많은 공간에서는 83%의 사물 인식 정확도를 보였고, 가정 등 실내공간에서의 사물 인식 정확도는 98%에 달하는 것을 확인했다. 또한, 스마트폰 케이스를 착용한 실험에서도 인식률의 차이가 별로 없는 것으로 밝혀져, 연구의 실용성 보여주었다. 한편, 상용 스마트폰 (Google Pixel 2)으로 구현한 노커의 사물 인식에 소요되는 시간은 0.2초(230 ms)로 다양한 사물과의 실시간 상호작용을 가능케 한다.

3. 기대 효과

연구팀의 노커 기술은 스마트폰 사용의 새로운 패러다임을 제시했다. 예를 들어 빈 물통을 스마트폰으로 노크하면 자동으로 물을 주문할 수 있고, IoT 기기를 활용하여 취침 전 침대를 노크하면 불을 끄고 알람을 자동 설정하는 등 총 15개의 구체적인 활용 방안을 선보였다. 이러한 활용방안 외에도 사용자가 원하는 사물과 기능을 직접 추가 할 수 있으므로, 그 활용방안이 무궁무진 하다.