가상현실(이하 VR)과 증강현실(이하 AR) 산업은 IT를 비롯해 콘텐츠, 서비스 및 유통, 통신망, 전자기기까지 다양한 산업을 폭넓게 포함하고 있다. 
VR의 역사는 19세기까지 거슬러 올라간다. 고전적인 스테레오스코피(Stereoscopy)와 같은 입체영상 기술 개념이 등장한 이후, 현재 VR 개념은 1935년에 발간된 SF소설 ‘피그말리온의 안경(Pygmalion’s Spectacles)’에 등장하는데, 이 소설은 홀로그램 영상, 후각, 촉각 등의 가상경험에 대한 내용을 담고 있다.
최초의 VR 기기는 1962년 만들어진 입체 영상 기기 센소라마(Sensorama)였으며, 1966년 워싱턴대학 교수인 토마스 포니스(Thomas A. Furness III)가 제작에 참여한 공군 조종사를 위한 훈련장치인 ‘플라이트 시뮬레이터’에 활용됐다. 이후 1987년 사용자의 손 움직임을 VR에 적용할 수 있는 ‘데이터 글로브(DataGlove)’가 출시됐는데, 이 기기를 만든 미국의 LEEP VR은 1989년에 사이버페이스(Cyberface)라는 이름의 헤드셋을 출시했다.

VR이 게임에 접목되기 시작한 것은 1990년대다. 세가(SEGA)는 1991년 미국에서 세가VR이라는 최초의 게임용 VR 헤드셋을 선보였는데, 지금의 오큘러스 리프트처럼 사용자의 머리 움직임을 게임 조작에 반영할 수 있었다.  
한편 AR의 역사는 1901년, ‘오즈의 마법사’의 원작자인 라이먼 프랭크 바움(Lyman Frank Baum)이 현실세계를 비춘 영상에 사람이 만든 데이터를 덧붙여 표현하는 ‘캐릭터 마커’라는 전자 기기를 고안한 것에서부터 출발한다. 첫 번째 AR 기기는 이반 에드워드 서덜랜드(Ivan Edward Sutherland)가 1968년에 개발한 HMD(Head Mounted Display)로, 전투기 조종사의 눈앞 렌즈를 통해 다양한 정보를 제공하는 역할을 했다.
 
AR이라는 말을 처음으로 사용한 곳은 보잉(Boeing)이었다. 1990년 보잉의 엔지니어인 톰 카우델(Tom Caudell)은 AR이라는 단어를 처음으로 언급했고, 1992년 미국 암스트롱 공군연구소가 버추얼 픽처(Virtual Fixtures)라는 AR 시스템을 개발했다. AR이 일반인을 대상으로 처음 등장한 것은 2007년 AR게임인 ‘더 아이 오브 저지먼트(The Eye of Judgement)’라는 플레이스테이션용 게임으로, 카메라를 이용해 사용자가 손에 든 카드를 인식해 현실을 게임 속에 반영하는 카드 배틀 게임이었다.  
이후 스마트폰에 탑재된 GPS, 가속도, 자이로스코프 등과 같은 센서들이 사용자의 위치, 시선 등을 추적할 수 있게 되면서 더욱 다앙한 AR 서비스가 등장했다. 물론 초기의 AR 기술은 사용자의 위치에 다른 정보를 보여주는 정도였으나, 지금은 영상 속 사물을 인식해 이와 관련한 정보를 제공하는 서비스로 발전하고 있다. 영상인식 기술의 발전으로 인쇄 형태의 제작물을 카메라를 통해 인식해 가상 물체나 정보와 겹쳐 보여주는 방식도 등장함에 따라 광고, 교육에도 활용되기 시작했다. 또한 구글에서 개발한 구글 글래스는 의료, 소방, 치안, 스포츠 등으로 영역을 확장해 나가고 있는 상태다.

표준화를 노려라 

인공지능과 마찬가지로, VR·AR 분야에서 최고의 연구 및 기술 수준을 자랑하는 곳은 미국이다. 미국은 페이스북, 구글, 마이크로소프트, 애플 등 기업을 중심으로 다양한 시도를 펼치고 있다. 미국은 이미 2000년대 중반부터 VR을 10대 미래핵심전략기술로 지정해 공공 분야의 중장기 연구 개발을 진행하고 있다. 또한 일본은 정부 차원에서 신기술, 사업 및 펀드 등을 지원해 VR 기술을 지능형 로봇에 접목하는 연구를 진행하고 있으며, 유럽도 국책연구기관을 중심으로 다양한 R&D 정책을 추진하고 있다.
한국의 경우 VR·AR 시장 확산에 있어 단말기, 네트워크 등 다소 경쟁력을 확보한 분야도 있지만, 플랫폼이나 콘텐츠 경쟁력에서는 확연한 차이를 보이고 있다. 삼성전자의 경우 자체 유통 플랫폼인 ‘MilkVR’을 통해 VR 영상과 게임을 제공하고 있고, LG전자는 개발자나 사용자 참여 공간인 엘지프렌즈닷컴을 오픈했지만 미국 등과 비교했을 때 격차는 크다. 
이에 한국정부는 2017년부터 VR·AR 산업을 육성하기 위한 다양한 사례를 검토한 후 불필요한 규제를 해소할 계획이라고 밝혔다. 미래창조과학부는 VR 생태계 구축을 국가전략 프로젝트로 선정해 분야별 전문인력 양성과 함께 클러스터 조성에 앞장서겠다는 방침을 세웠다.
경쟁이 치열해짐에 따라 새롭게 등장하고 있는 이슈가 있다. 바로 표준화다. 아직까지 VR·AR과 관련해 수립된 공통의 표준은 없는 상태다. 현재 VR 업계는 시장 주도권을 확보하기 위해 나름의 독자적인 VR 표준을 사용하고 있는데, 그로 인해 상호 호환이 불가능하다는 단점으로 나타나고 있다. 이러한 문제를 해결하기 위해 2016년 12월, 세계가상현실협회(GVRA: Global Virtual Reality Association)이 출범했고, GVRA는 업계 공통 표준 구상 및 협의를 진행할 계획에 있는 것으로 알려져 있다.


글로벌 플랫폼 전쟁 

생태계 구축의 필요성이 커짐에 따라 글로벌 기업들은 PC와 모바일을 대체할 컴퓨팅 플랫폼으로 VR을 꼽고 관련 플랫폼 개발에 몰두하고 있다. 구윤모 삼성전자 무선사업부 기술전략그룹 전무는 2017년 2월 17일 ‘가상현실 사업의 현황과 전략’ 브리핑에서 “VR 산업 확대를 위해서는 생태계 구축이 필수적”이라며 “VR을 통해 전에는 할 수 없었던 새로운 체험을 몰입감 있게 즐길 수 있게 됐다. IT뿐만 아니라 교육, 의료 등 산업 전만에서도 사용가능한 VR을 만들기 위해서는 VR 생태계 조성이 필수”라고 언급했다.
소프트웨어정책연구소에 따르면, VR 관련 플랫폼은 크게 기술, 시장, 콘텐츠, 서비스 측면에서 검토해 볼 수 있다.
이 중 기술 플랫폼은 전체 플랫폼 생태계의 근간이 되는 영역으로 각 생태계의 영향력 확대를 목적으로 삼고 있다. 기술 플랫폼은 크게 수직통합, 오픈소스와 게임 엔진으로 구분된다. 수직통합은 스마트폰에서 애플이 사용했던 전략으로, 기술과 서비스의 수직 통합을 통해 생태계를 확보하는 방식으로 선도 기업에게 유리한 전략이라 할 수 있다. 오큘러스와 소니가 대표적이다.
오큘러스는 PC 기반의 고품질 VR 플랫폼으로 강력한 영향력을 발휘하고 있으며, 소니는 플레이스테이션 VR 등을 출시하면서 ‘없어서 못파는’ 품귀현상까지 불러일으키고 있다. 한편 마이크로소프트는 다양한 기업들과 파트너십을 통해 윈도우 10을 중심으로 VR 시장을 공략하고 있다.
오픈소스는 주로 후발기업이 동맹적 생태계를 구성해 선도기업을 추격하는 방식으로, 빠른 확장에 장점이 있으며 독점 기업을 견제하는 효과도 지니고 있다. 예를 들어, 레이저(Razer)는 특정 벤더에 속하지 않는 VR 플랫폼인 OSVR을 만들었고, HTC는 바이브의 소프트웨어 개발 키트(SDK)인 OpenVR을 지원하는 등 다양한 오픈소스가 등장하고 있다. 특히 인텔은 별도의 스마트폰이나 PC 없이 이용 가능한 독립형 VR 기기인 프로젝트 알로이(Project Alloy)를 발표하고 2017년에 하드웨어와 SDK를 오픈소스로 공개할 계획이다.

게임 엔진은 기존 PC나 모바일 개발환경보다 파편화가 심하고 3차원 리소스를 다뤄야 하는 VR만의 특성으로 인해 호환성 확보와 3차원 객체를 다룰 수 있는 게임엔진의 영향력을 증폭시키고 있다. 따라서 게임 엔진 개발사들은 소스를 공개하거나 파격적인 라이선스 가격정책을 통해 플랫폼 영향력을 확대하고 있다. 모바일 게임에서 강세를 보여왔던 유니티(Unity)는 오큘러스 리프트 전용 가상현실 게임 30개 중 17개가 유티니 엔진으로 만들어지는 등 모바일 VR·AR의 기술 발전에 맞춰 관련 시장에서 가장 범용적인 플랫폼으로 자리를 잡아가고 있다. 
모바일 VR 시장은 모두가 알다시피 하드웨어를 중심으로 일차적인 발전을 이루고 있다. 앞서 1편에서 소개한 삼성전자의 기어 VR, 오큘러스 리프트, 구글 데이드림 뷰 등이 모두 모바일 VR 시장을 겨냥해 출시한 헤드셋들이다. 
콘텐츠 플랫폼은 콘텐츠 판매를 통한 매출이 직접적으로 발생하고 하드웨어와는 달리 사용자들로부터 지속성과 충성도를 확보할 수 있다는 장점을 지니고 있다. 현재로서 콘텐츠 플랫폼에서 가장 큰 비중을 차지하고 있는 것은 게임 시장이다. 게임 시장은 지금까지 모바일 시장에서 경험한 것과 마찬가지로 가장 확실한 매출을 올릴 수 있는 곳이다.
VR·AR 관련 게임 역시 과거의 경험을 토대로 게임 시장이 선도적으로 자리를 잡아가고 있는 상황이다. 문제는 게임시장에서 VR·AR이 사용자들로부터 관심을 얻기 위해서는 VR·AR 경험의 품질이 뛰어나야 한다. PC 기반의 게임에서는 HTC의 스팀(Steam)이, 비디오 게임에서는 소니의 플레이스테이션이 확실한 자리매김을 했다면, 모바일 시장에서는 포켓몬 고를 제외하고는 확실한 성공 모델을 만들어내지는 못했다. 
콘텐츠 플랫폼에서 게임 이외에 많은 기업들이 관심을 갖고 있는 것은 바로 360도 영상 서비스 분야다. HMD의 보급은 PC 환경의 한계로 그동안 대중화되지 못했던 360도 영상의 가치를 재발견할 수 있는 기회이기도 했다. 특히 구글과 페이스북은 카메라 여러 대를 연결해 고품질 360도 영상 촬영이 가능한 기기와 소프트웨어를 실현하기도 했으며, 삼성전자와 LG전자 역시 360도 카메라를 출시해 관련 콘텐츠를 생산할 수 있는 계기를 마련했다. 또한 CNN은 360도 영상으로 미국 라스베이거스에서 열린 미 대통령 경선 토론을 중계하기도 했다. 
VR·AR이 눈여겨 볼 또 하나의 시장은 서비스 분야다. SNS, 전자상거래, 교육, 체험관, 전시관, 박물관 등 다양한 사용자 서비스에서 플랫폼화를 시도하고 있다. 2016년 페이스북은 소셜VR을 시연했는데, 소셜VR은 다른 이들과 교감하는 기능을 통해 몰입감을 극대화한다는 점에서 큰 관심을 끌어 모았다. 교육 측면에서는 구글의 익스페디션(Expedition)이 좋은 롤 모델이 될 것이다.
익스페디션은 선생의 지도 하에 학생들이 교실 안에서 교실 밖을 현장체험할 수 있는 가능성을 열었다. 전자상거래와 관련해서는 알리바바가 VR과 쇼핑을 접목해 가상의 옷을 입어보고 결제할 수 있는 ‘BUY+’라는 서비스를 선보였으며, VR을 접목한 테마파크를 만든 더보이드와 같이 체험공간에 VR·AR을 접목하는 시도도 지속적으로 나타나고 있다.
 
그리고 자동차 산업에서도 VR·AR을 주목하고 있다. VR 기술은 자동차를 구매하기 전 차량의 실내 인테리어를 살펴보거나 주행 성능 체험으로 차종 선택에 도움을 줄 수 있다. AR은 HUD(Head Up Display)를 구현하기 위한 기술로 주목받고 있는데, BMW 등 해외 완성차 업계에서도 관련한 기술을 꾸준히 개발 중에 있다.

방송, 스포츠, 서적, 의료도 VR/AR 열풍

VR·AR 관련해 앞서 언급한 플랫폼의 유형에 대한 이해를 도울 수 있는 다양한 사례를 살펴보도록 하자.
미국 캘리포니아에 위치한 넷플릭스(Netflix)는 방송 스트리밍을 주 사업모델로 하고 있다. 넷플릭스는 최근 자체적으로 VR 부서를 만들어 운영하고 있는데, VR 헤드셋을 통해 드라마와 영화 등을 시청할 수 있는 콘텐츠를 개발하고 있다.
넷플릭스가 서비스하고 있는 대부분 콘텐츠를 기어 VR을 통해 시청할 수 있으며, 반드시 TV 앞에 앉아 있을 필요 없이 어디서나 시청이 가능하다. 특히 2016년 12월, 구글 데이드림용 VR 앱을 출시함에 따라 데이드림 뷰 헤드셋으로 넷플릭스가 지원하는 360도 영상 콘텐츠를 감상할 수 있게 됐다.

또한 미국 프로농구협회인 NBA에서는 현재 VR·AR 기술이 활용될 수 있는 실시간 중계를 개발 중이다. VR·AR 기술로 스포츠 중계를 시청할 수 있다면, 직접 경기장을 방문하지 못하는 이용자들이 현장감을 느끼며 스포츠를 즐길 수 있는 계기를 마련하게 된다. 
 
이베이는 전용 VR 앱을 선보이며, 소비자들이 효율적으로 질 높은 쇼핑을 할 수 있도록 돕고 있다. 이 서비스는 이베이 홈페이지에 접속해 모바일 기기에 맞는 이베이 가상현실 백화점 쇼핑 애플리케이션을 다운 받은 후, VR 기기에 연결해 온라인 쇼핑을 경험할 수 있다.
코트라 도쿄무역관의 김광수 무역관에 따르면, 일본 벤처기업인 팀 S(team S)는 일본의 전통적 서점 수가 2000년대 초반 2만 개에서 2013년 1만 5,000개로 감소하는 반면, 전자서적 규모는 2014년 대비 2015년 25.1% 증가한 1,584억 엔 규모를 기록한 점을 주목했다. 샤프 출신의 타카시마 아키라 사장은 샤프에서 대형 모니터가 부착된 비디오카메라인 ‘액정 뷰카무’ 등의 상품기획을 담당했던 경험을 바탕으로 전자서적 배포 기업인 이북이니시어티브 재팬과 팀 S를 공동 창업했다.
팀 S는 2017년 전반기 실증 실험을 실시하고 2020년 전후에 지방 상점가의 빈 점포에 VR 서점 개설을 목표로, VR 공간에서 책을 찾고 읽을 수 있는 VR 서점을 기획하고 개발에 나섰다. 사용자는 VR 서점에 비치되어 있는 VR 기기를 장착하면 눈 앞에 책장이 늘어선 서점을 모방한 VR 공간을 경험하게 된다. 직접 걸으면서 책을 찾거나 읽을 수 있으며, 책장도 넘기는 등 유사 행위를 체험할 수 있는 기술을 개발 중인 팀 S는 향후 VR 서점에서 마음에 드는 책이 있으면 인터넷을 통해 구입할 수 있도록 플랫폼을 구축할 계획이다.
로봇과 VR의 융합을 위한 노력도 나타나고 있다. 모바일 월드 콩그레스(MWC) 2017에서 일본의 NSSOL은 NTT 도코모와 공동으로 VR·AR 기술을 활용해 로봇팔을 원격으로 조작할 수 있는 시스템인 ‘5G 팩토리(5G Factory)’를 선보였다. 5G 팩토리는 VR·AR 기술을 이용해 생산 현장의 각종 장비의 원격 조작을 지원하는 시스템으로, 조작 대상 기기의 3D 실시간 영상을 통해 가공공간을 구성하고 5G 네트워크를 통해 전송한 후 조작자가 장착한 HMD에 표시하게 된다.
5G 팩토리에는 자유시점 영상기술과 복합 현실기술이 적용됐다. 자유시점 영상기술은 원격지에 설치된 로봇팔을 둘러싼 전방향 키넥트 카메라를 설치해 작업현장을 360도 영상으로 구현하는 기술이다. 복합 현실기술은 3D로 합성한 영상을 원격지에 있는 사람의 HMD에 VR로 표시해 현실과 가상의 세계를 복합적으로 표시하는 기술이다. 이 두 기술은 NSSOL의 시스템 연구개발 센터에서 수년 전부터 축적한 기술을 토대로 개발됐다.
의료 분야에서도 VR·AR 기술을 적용하는 사례가 등장하고 있다. 서던캘리포니아대학교의 알버트 스킵리조 교수팀이 제작한 ‘브레이브마인드(Bravemind)는 군인들의 외상 후 스트레스 장애(PTSD)를 평가하고 치료하는 데 사용되는 임상, 대화형, VR 기반의 도구다. PTSD를 치료하기 위해서는 환자의 불안감이 낮아질 때까지 반복적으로 외상 기억에 노출시키는 지속적 노출 치료법(PE)이 주로 활용되고 있다.
따라서 환자가 외상 기억을 잘 떠올리지 못하거나 떠올리기를 거부하게 되면 치료에 어려움을 겪을 수밖에 없기 때문에, 의료진은 외상 기억에 잘 몰입할 수 있는 환경을 만들어주는 것이 중요하다. 이를 위해 연구팀은 VR과 PE를 결합한 가상현실 노출 치료법인 브레이브마인드를 개발했다. 이 기술은 기존 PE에 반응이 없던 PTSD 환자가 VRET(Virtual Reality Exposure Therapy)에 성공적으로 대응함으로써 그 효과가 입증됐다.
브레이브마인드는 감정 자극을 제어하고 뇌영상 및 정신 생리학 평가 기술을 통해 환자의 스트레스 반응 강도를 모니터링할 수 있어 단계별 제어 방식으로 환자를 점진적으로 충격에 빠뜨릴 수 있는 가상환경을 경험하게 한다. 또한 예방, 평가 등에 도움이 되는 뇌 및 생물학적 요인을 이해하기 위해 결과를 측정, 기록, 학습할 수 있다. 브레이브마인드는 문서화도 가능하기 때문에 향후 임상 평가나 치료, 연구 등에도 매우 유익하게 활용될 수 있을 것으로 보인다.
독일 자동차 전장부품 및 타이어 제조사인 콘티넨탈(Continental)은 2016년 12월 16일, 미국 실리콘밸리 홀로그래픽 광학기술 전문회사인 디지렌즈(DigiLens)와 차세대 HUD 개발을 위한 제휴를 체결했다. 이 제휴로 콘티넨탈은 자동차 앞유리에 적용할 수 있는 초박형 AR HUD를 개발해 다양한 세그먼트에 확대 적용할 계획이다. 
AR HUD는 자동차 속도, 내비게이션 정보뿐만 아니라 주변 자동차, 사물, 사람, 물체 뒤에 가려진 오토파이나 사람 등도 표시해준다. 또한 콘티넨탈은 자동차 진단 및 서비스 솔루션으로 OEM 진단에 AR 기술을 접목했다. AR 솔루션은 직관적인 작업 중심의 사용자 경험에 진단 및 기술 정보를 원활하게 통합하는 온라인 정보 시스템으로, 분석이 필요한 부품과 구성요소 등이 디스플레이에 표시돼 단계별 진단과 수리가 가능하다.

이처럼 VR·AR 기술은 서서히 전문 영역과 일반 영역에서 동시에 새로운 서비스와 시장을 만들어내고 있다. 지금 당장은 눈으로 보는 VR·AR에서 동작 인식이 가능한 VR·AR로 넘어가는 단계에 있지만, 향후에는 촉각이나 냄새 등 인간의 오감을 활용한 수준으로까지 발전할 가능성도 있다. 
특히 기기-플랫폼-실감형 콘텐츠로 이어지는 생태계를 구축해 향후 고품질의 콘텐츠를 다양한 미디어와 플랫폼의 활성화로 사용자들이 새로운 경험을 할 수 있기를 기대해 본다.