가상현실(이하 VR)과 증강현실(이하 AR)에 이어 혼합현실(Mixed Reality, 이하 MR)이 급부상할 전망이다. 글로벌 기업들이 VR·AR보다 한발 앞서 나가기 위해 MR에 주목하고 있어서다.
2016년이 VR과 AR이 크게 주목받는 해였다면, 2017년은 아직 시장이 포화상태에 접어들지 않았음에도 혼합현실 또는 융합현실이라 불리는 MR이 뜨고 있다. MR(Mixed Reality)이란 VR과 AR의 한계를 보완해 현실 배경 위에 현실과 가상의 정보를 혼합해 기존보다 더욱 진화된 가상 세계를 구현하는 기술을 말한다. MR은 주위 지형지물과 사물 모두에 가상의 이미지나 영상 등을 덧씌워 존재는 하지만 현실과는 다르게 보이는 세상을 구현할 수 있다.
 
IndustryArc와 KT경제경영연구소에 따르면, 전 세계 MR 시장은 2015년 4,580억 원에서 2021년 1조 980억 원으로 약 두 배 이상 성장할 것으로 전망된다. VR이나 AR에 비해 상대적으로 적은 규모일 수 있으나, 2017년 이후 출시될 MR 전용 HMD(Head Mounted Disply) 기기나 콘텐츠의 기대감으로 성장은 가속화될 것으로 보인다.


MR 개발에 박차를 가하는 글로벌 기업들

특히 2017년 1월 27일, 마이크로소프트의 VR 플랫폼인 홀로그래픽을 혼합현실로 변경하면서 관심은 더욱 커졌다. 마이크로소프트는 게임바 기능 향상과 빔 스트리밍 등의 신규 기능 및 기능 개선이 적용된 윈도우 10의 ‘인사이더 프리뷰 빌드’를 공개하면서 혼합현실도 함께 발표했다. 이후 마이크로소프트는 VR 콘텐츠를 소개할 때 ‘윈도우 홀로그래픽(Window Holographic)’ 대신 ‘윈도우 혼합현실(Window Mixed Reality)’라는 용어를 사용했고, 홈페이지에서도 MR을 공식적으로 사용하기 시작했다.
 
또한 3월 1일, 에이서(Acer)는 마이크로소프트의 MR을 구동할 수 있는 보급형 헤드셋의 사양이 공개되면서 MR에 대한 기대감은 커졌다. 개발킷과 함께 공개된 윈도우 MR 헤드셋은 한쪽 눈당 1,440×1,440 해상도에 90 Hz로 작동되는 디스플레이가 탑재되어 있다. 3.5 mm 잭을 통해 헤드폰 및 마이크와 연결할 수 있으며, PC와는 HDMI 2.0과 USB 3.0이 합쳐진 하나의 케이블로 연결돼 영상 및 데이터 송수신이 가능하다. 전면에는 AR 구현을 위한 카메라가 장착되어 있다.
한편, 구글(Google)은 VR을 연구하는 데이드림(Daydream) 팀과 유튜브(Youtube) 팀이 함께 VR 헤드셋에서 사용자의 얼굴을 볼 수 있는 기술을 개발하고 있다. 구글이 연구 중인 기술은 VR 헤드셋을 투명하게 만들어 사용자의 얼굴을 보여주는 방식이 아니라, 3D 스캐너와 눈 추적 기술을 적용하게 된다. 
3D 스캐너가 사람의 얼굴과 눈 동장, 눈 깜박임 등을 측정한 후 헤드셋의 안구 추적 시스템에 데이터를 매핑하게 된다. 이를 통해 VR 헤드셋 겉면에 사용자의 얼굴과 눈동자를 복사한 ‘가짜 얼굴’을 구현할 수 있다. 구글은 실감나는 얼굴형태를 구현하기 위해 헤드셋을 반투명으로 만들 계획이다.
인텔은 2016년 8월 자체 개발한 3D 센서 리얼센스 기반의 프로젝트 알로이(Project Alloy)를 공개함으로써 공개적으로 MR 시장 진출을 선언했고, 올해는 마이크로소프트와 함께 시장을 형성하겠다는 전략을 언급하기도 했다. 즉 마이크로소프트의 홀로렌즈(Hololens)와 인텔의 프로젝트 알로이의 시너지 효과를 통해 양강 체계를 구성한다는 복안이 담겨 있다.
하지만 경쟁은 빠르게 가속화되고 있다. 마이크로소프트와 인텔뿐만 아니라, 구글, 퀄컴, 알리바바 등이 투자한 스타트업 매직리프가 MR 시장의 강자로 떠오르고 있어서다.
 
특히 구글은 이와 관련해 공식 블로그에 VR 헤드셋을 쓰지 않고도 MR을 이용해 VR을 경험할 수 있지만, 헤드셋이 사용자의 얼굴 표정과 시선을 차단해 완전히 매력적인 경험을 제공하기 어렵다고 언급하고 3D 스캐너, 머신 러닝, 그래픽 기술 등을 결합해 MR을 구현한다고 발표했다.
이미 구글은 기술 확보를 위해 MR 분야에서 앞서가는 기술력을 보유하고 있는 매직리프(Magic Leaf)에 8억 달러(9,116억 원)을 투자했으며, 2016년 10월에는 안구 추적 기술을 보유한 아이인프루언스(Eyefluence)를 인수하기도 했다.
이밖에 메타, ODG 등 AR HMD를 바탕으로 AR 시장에 진출한 기업들도 MR 시장을 눈 여겨 보고 있다. 메타와 ODG는 올해 MR에 초점을 둔 HMD와 서비스를 공개할 계획을 세우고 있다.

다중 감각 기술로의 발전 
MR 시장은 시각 중심에서 인간의 오감을 통해 경험이 가능한 다중 감각 기술로의 발전이 전망되고 있다.
미국 라이스대학 연구팀은 장갑에 있는 미세한 공기 주머니에 공기를 넣어 손끝에서 압력을 느낄 수 있는 데이터 장갑을 개발했다. 또한 테슬라 스튜디오, Axon VR 등은 전기 자극 방식을 통해 바람, 온도, 물체의 무게까지 느낄 수 있는 슈트, 전신장비를 개발하고 있다.
필리얼 VR 마스크는 온도, 바람, 타는 냄새, 꽃, 바다, 불꽃, 화약 등의 냄새를 카트리지를 통해 재현했으며, 싱가포르 국립대학은 ‘버추얼 스위트(Vittual Sweet)’에 이어 전기, 열 등의 자극을 맛으로 구현한 시뮬레이터인 ‘테이스트+(Taste+)’를 공개하기도 했다. 한편 HTC 바이브는 전면부에 달린 적외선 센서와 공간에 설치하는 2개의 라이트 하우스 센서로 사용자의 움직임을 감지해 AR에 반영하는 룸 스케일(Room Scale) 기술을 구현했다.

 
MR 기술을 보유한 기업들은 주로 홀로그래픽을 UI(User Interface)로 채택하고 있다. 매직리프는 홀로그래픽 기술인 포토닉스 라이필드를 공개하기도 했는데, 이 기술은 단말기에 탑재된 소형 프로젝터가 투명한 렌즈에 빛을 비춰 망막에 닿는 빛의 방향을 조정해 컴퓨터가 만든 가상의 객체를 현실세계의 물체처럼 구현하는 기술이다. 한편 마이크로소프트의 홀로렌즈는 PC나 모바일에 적용된 윈도우의 메트로 UI를 홀로그램으로 확장하는 데 집중하고 있다.
이러한 홀로그램 기반의 UI는 시선 인식, 모션 인식, 음성 인식 등 이용자의 생체 정보가 입력장치로 사용될 전망이다. 센서 측면에서 MR은 AR 등에 비해 수준 높은 기술 적용이 필요하다. 일반적으로 AR이 스마트폰의 GPS, 자이로 센서, 중력 센서 등을 활용하는 방향으로 기술이 발전하고 있다면, MR은 센서, 카메라, 마이크 등을 활용해 이용자의 시선, 움직임, 음성 등을 입력장치화할 것으로 전망된다. 특히 마이크로소프트의 홀로렌즈에는 시선, 손동작, 음성 등을 지원하는 독자적인 인터랙션 기술이 적용돼 있다. 
한편 홀로렌즈의 CPU는 인텔 계열의 32비트 제품이 탑재되어 있으며, 2G의 메모리와 64G의 저장공간을 지원하고 있다. 특히 홀로렌즈는 가속도계, 자이로스코프, 지자계 센서는 물론이고, 2.4메가 픽셀의 카메라도 포함되어 있어 사진이나 동영상 촬영도 가능하다. 탑재된 마이크로폰 어레이는 각각의 마이크를 통해 들리는 소리의 위상 차이를 이용해 소리의 방향을 파악할 수 있으며, 홀로렌즈를 착용한 사용자의 목소리를 더욱 정확히 분류할 수도 있다. 또한 홀로렌즈의 핵심은 센서에서 들어오는 신호를 처리하고 공간을 인식하며 동작이나 음성 처리에 특화된 전용 칩셋인 HPU(Hologram Processing Unit)에 있다.
이러한 센서와 기술로 홀로렌즈는 공간 인식이 가능하다. 홀로렌즈에서 공개한 동영상들을 살펴보면, 사용자는 실행 중인 앱을 벽에 위치하거나 홀로그램을 원하는 탁자 위에 올려 놓는 등 원하는 장소에 AR을 정확히 구현할 수 있다.
SK텔레콤이 최근 선보인 텔레프레즌스는 VR과 AR을 융합해 서로 다른 지역에 있는 사람들이 2차원 홀로그래픽 기반으로 영상 통화를 할 수 있는 통화 솔루션이다. 텔레프레즌스는 AR 서비스가 가능한 스파트폰을 이용해 ‘룸(Room)’이라는 가상공간을 만들게 되는데, 이 공간에는 최대 4명까지 다른 사용자들이 접속할 수 있다. 이렇게 만들어진 룸에 원하는 AR 콘텐츠를 띄울 수 있다. SK텔레콤은 2012년부터 VR과 AR에 투자해왔다. 2015년에는 구글 I/O(구글 연례개발자회의)에서 국내 기업으로는 드물게 AR 플랫폼 서비스인 ‘T-AR for 탱고’를 선보였으며, 2016년에는 VR과 AR을 통합한 ‘T-real’ 플랫폼을 공개하기도 했다.
BMW도 차량 디자인 개발 프로세스에 MR을 도입할 계획이다. BMW는 MR 도입으로 언리얼 엔진을 제공하는 렌더링 기능을 사용해 가상 표면을 생성하고 3D 프린터로 간단하게 제작한 시제품과 이를 적용해 볼 수 있는 환경을 디자이너와 엔지니어에게 제공한다. 이를 통해 디자이너와 엔지니어가 실제로 제품을 제작하지 않아도 다양한 재료부터 표면이 최종 출하되는 자동차까지 어떻게 보이는지를 미리 확인할 수 있게 된다.

특히 3D 프린터로 간단하게 제작한 시제품을 만들고 실내장재, 창문 등에 탑재될 기능들을 VR 환경에서 모델링하고 시연할 수 있다. 이러한 프로세스는 VR 테스트를 위해 제작되는 고가의 설비나 전체 부품을 프로토타입으로 만드는 작업을 대체할 수 있다. BMW 측은 과거보다 비용, 시간을 줄이고 실제 모델을 제작하기 전, 어떤 기능이나 요소가 이동 또는 가시성을 방해하는 지 미리 파악할 수 있다고 설명했다.

3D 매핑 기술, 스마트폰에 적용될까 
MR은 주변 환경을 실시간으로 3D 매핑(Mapping)과 실시간 이미지 렌더링 등을 활용해 가상 사물을 실제 세계의 표면, 사물 등과 상호작용하는 형태로 구현된다. 이 3D 매핑에는 상당한 연산이 필요하다. 이는 곧 높은 비용과 전력을 요구하며, 엄청난 양의 발열 문제도 있다. 그렇기 때문에 홀로렌즈나 매직리프 등의 제품들은 크고 무거우며 가격도 비싸다.
즉 MR은 매우 큰 호기심을 자극하기에 충분하지만, 일상에서 가볍고 편하게 즐길 수 있는 일반 사용자용으로는 부적합하다. 현재로서는 이를 구입할 시장은 기업, 전문가, 군대, 일부 얼리 어답터(Early Aadopter) 등에 불과할 것이다.
하지만 구글의 3D 매핑 기술은 깊이와 거리, 내부 공간 등을 빠르게 매핑해 방 안에 존재하는 사물의 크기 역시 정확하게 판단할 수 있다. 특히 500달러 정도의 스마트폰에서 탱고를 제공할 정도로 경제성도 확보하고 있다. 구글은 탱고의 3D 데이터 수집 기능이 사물 식별에 뛰어나기 때문에 향후 인공지능 기반의 VR을 제공할 수 있을 것으로 보고 있다.
구글의 탱고가 시사하는 것 중 가장 중요한 점은 스마트폰 기반의 MR 생태계를 구축할 수 있다는 점이다. 가격 경쟁력 확보로 스마트폰, 주변기기, 앱, 콘텐츠, 3D 데이터 기반의 라이브러리 구축까지 포함할 수 있다는 것이다.
애플의 경우, 수많은 MR 관련 특허와 2013년 프라임센스(Primesense) 등의 인수로 볼 때, MR 시장을 공략할 가능성이 크다는 것을 예측해 볼 수 있다. 현재 애플은 사진을 찍고 나서 피사체의 심도 수정 또는 이미지의 특정 부분을 180도 회전하는 기능을 검토 중인데, 이 역시 프라임센스의 기술에 바탕을 둔 것이다.
이처럼 많은 글로벌 기업들이 VR·AR을 넘어 MR로 넘어가는 단계를 거치고 있지만, 아직까지 일반 사용자가 체감할 생태계는 만들어지지 않았다. 일반 사용자로까지의 전환이 HMD이든, 스마트폰이든 간에 분명한 점은 경제적이면서도 휴대가 가능하며 보편성을 갖춘 MR 개발에 초점을 맞춰야 한다는 점이다.
현재로서 가장 가능성 있는 것은 스마트폰에 MR을 구현하는 것이다. 스마트폰을 대체할, 예를 들어 스마트 글래스와 같은, 다른 기기가 개발되지 않는한 스마트폰은 통신과 콘텐츠의 중심에 자리하고 있을 것이다. 많은 이들이 스마트폰 시장이 이미 포화상태라고 분석함에도 불구하고 기자가 스마트폰의 발전 가능성이 여전히 남아 있다고 수차례 언급한 이유도 이러한 이유와 일맥상통한다.