사티아 나델라(Satya Nadella)는 2014년 2월 마이크로소프트 최고경영자(CEO)에 취임하며, 회사의 직원 14%를 줄이는 대대적인 체질 개선을 진행했다. 그리고 오랫동안 잠자던 세계 최대 소프트웨어 회사의 혁신과 창조 정신 부활의 시험대로 ‘홀로렌즈(HoloLens)’ 카드를 꺼낸다. 홀로렌즈는 그 어느 것도 모방했다고 볼 수 없는 독특한 경험 그 자체다.

홀로렌즈는 구글 글래스와 같은 증강현실(AR, Augmented Reality)과 오큘러스 리프트와 티같은 가상현실(VR, Virtual Reality) 사이, 즉 복합현실(MR, Mixed Reality)의 세계를 구현하는 기기로 정의된다. 웨어러블 기기가 컴퓨팅 환경을 디스플레이 부분에서 변화시키는 개념이다. 구글 글래스와도 다르다. 구글 글래스는 단순한 텍스트와 지도 등의 2D 정보가 나타나지만 홀로렌즈는 여기에 3차원 입체 홀로그래픽이 더해 펼쳐진다는 점이 가장 큰 차이다. 또 스마트폰 연결이 필요한 구글 글래스와 달리 홀로렌즈는 자체적으로 동작하며, 사용자 동작 및 주변 공간까지 인식하는 (자이로스코프 등) 센서와 차세대 칩셋 솔루션, 홀로그래픽 프로세싱 유닛(HPU)을 탑재된다. 


 

홀로렌즈 구조

1 카메라
깊이 인식 카메라로 상하좌우 120도의 넓은 시야각을 지원한다. 참고로 사람의 시야각은 약 200도, 가상현실 기기 오큘러스 리프트와 HTC 바이브 시야각은 110도다. 


2 컴퓨터
18개의 센서에서 초당 테라바이트의 엄청난 데이터를 수집한다. 이 어마어마한 대량의 데이터는 홀로렌즈 내부의 CPU(현재 알려지기로는 14나노 공정으로 제작된 인텔 아톰 x7)과 GPU 그리고 새로 개발된 HPU(홀로그래픽 프로세싱 유닛)이 삼각편대를 형성해 처리한다.


3 렌즈
사용자가 진짜 홀로그램 영상이 존재(사용자와 영상이 일정 간격을 두고 있는 것처럼) 한다고 믿도록 광입자들은 ’라이트 엔진’ 내에서 수백만 번 흩어진다. 계속해서 2개의 렌즈(좌우 1개씩)를 통과한 광입자들은 파랑, 녹색, 빨강 3장의 유리판 사이에서 몇 번 더 반사된 뒤 사용자 망막에 도달한다. 참고로 원래 홀로그램은 3차원 이미지를 의미하지만, 영화 등에서 등장하는 모습을 보면 공간에 3D 형상을 만드는 구조로 이해하는 사람도 많다. 일반적으로 재생 조명 빛으로 불리는 빛의 입체 영역에 다른 빛을 비춰 상을 만들어 구현한다.


4 스피커 
따로 헤드셋을 착용하지 않고서도 특정 방향으로 소리를 전달하고 몰입감을 높이는 역할이다. 


5 통풍구
초당 테라바이트의 어마 무시한 데이터 처리를 하며 발생하는 뜨거운 공기는 양옆으로 흘러 위쪽으로 배출된다.


정리하면 홀로렌즈는 한 쌍의 홀로그램 렌즈를 중심으로 세밀하게 구성된 웨어러블 기기다. 두 개의 렌즈는 각각 파랑, 녹색, 빨강 유리판이 1장씩 총 3장으로 구성된다. 유리판은 빛을 회절 시키는 무수히 많은 작은 홈이 새겨져 있다. 그리고 홀로렌즈 전면과 측면에 장착된 카메라는 사용자의 머리 움직임 추적하고 영상 촬영까지 모두 소화한다. 카메라는 시야각이 가로 세로 120도로 매우 멀리 그리고 넓게 바라볼 수 있다. 키넥트 카메라보다 훨씬 넓다. 렌즈 위 ‘라이트 엔진’이 유리판에 빛을 투영, 판 사이에서 수백만 번씩 반사되고서 착용자의 눈에 닿는다. 이 반사의 과정과 18개 센서에서 수집된 정보가 합쳐지며 투영된 영상이 마치 렌즈 너머의 현실 세계에 실제로 존재하는 것처럼 보이는 것이다. 

이 많은 기능이 단 3개의 컨트롤러로 제어된다. 음량 조절과 홀로그램 대비 조절 그리고 전원 버튼이 전부다. 스피커는 귀 바로 위에 있다. 홀로렌즈는 소리의 방향을 특정할 수 있기에 소리가 재생될 때 현실 세계에서 들리는 듯한 착각을 일으킨다. 이를테면 사용자 바로 옆으로 트럭이 통과하는 효과음을 내면 정말 그 방향에서 엔진 소리가 들리는 식이다. 머리에 착용하는 만큼 한쪽으로 쏠리지 않는 중량 배분과 머리 크기에 맞춰 늘어나는 신축성을 갖춘 헤드 밴드를 더했다. 홀로렌즈 무게는 약 400g이며 자전거 헬멧 정도의 무게다. 운영체제는 마이크로소프트 윈도우 10이고, 배터리 지속 시간은 2~3시간, 대기 시간은 최대 14일이다. 


 

드래곤볼 스카우터의 현실 버전

그런데 정말 자전거 헬멧 크기의 웨어러블 기기가 이런 것들이 가능할까. 컴퓨터 그래픽이나 360도 카메라로 만든 가상의 공간을 체험하는 가상현실, 현실을 배경 삼아 거기에 컴퓨터 그래픽을 덧대는 증강현실과 다름을 확실히 하고자 마이크로소프트는 홀로렌즈에 혼합현실이라는 용어를 가져왔다. 홀로렌즈 데모 영상을 보면 금방 이해가 된다.




홀로렌즈 세계에서는 주변의 공간 모두 가상의 풍경으로 덮을 수 있고, 현실 풍경에 가상 물체가 둥둥 떠다니게 하거나 현실의 데스크톱 컴퓨팅과 홀로그램 컴퓨팅 모두를 사용자 눈앞에서 놓을 수도 있다. 즉, 사용자가 눈앞에 실제 영상이 있는 것처럼 속이는 홀로렌즈는 사용자 손가락을 오므려 물체를 쥐는 손짓과 사용자 목소리에 반응하는 음성 그리고 사용자가 바라보는 방향을 추적하고 그에 화면이 반응한다. 애니메이션 드래곤볼 팬이라면 상대방의 전투력을 비롯해 위치 정보와 거리 정보를 일목요연하게 보여주는 스카우터를 기억할 것이다. 애니메이션 속 고글이 현실에 그대로 실현된 거다. 아니 그 이상이다. 


 

홀로렌즈를 이용해 미식축구 NFL 리그를 관전하는 모습을 상상한 영상은 이 제품의 주요 기술 ’홀로그램’ ’가상현실’ ’증강현실’이 어떻게 구현되는 지를 잘 보여준다. 기존 TV와는 달리 화면 밖으로 다양한 입체 정보를 볼 수 있는 이 영상에서 홀로렌즈는 선수명이나 등번호 같은 기본 정보는 물론 당일 컨디션 같은 세세한 정보까지 볼 수 있다. 심지어 가상이지만 선수 본인이 거실 벽을 뚫고 나오기도 한다. TV 화면 뿐 아니라 테이블 위에 미니 경기장을 가상으로 보여주기도 한다. 날씨나 컨디션 등을 그대로 재현하는 건 물론 모든 각도에서 리플레이를 확인할 수 있는 건 물론이다.





홀로그램

방 안에 홀로그램을 투사하여 이것이 일정한 장소에 머무는 것처럼 보이게 할 수 있다. ‘핀’이라는 홀로렌즈의 주요 기능이 쓰인다. 사용자 위치에 따라 물체가 움직이는 것이 아니라 사용자가 투영된 물체 주위를 움직이며 모든 각도에서 볼 수 있다. 




가상현실

영화 ’마션’의 화성 표면과 같은 실제 우주를 시뮬레이션할 수 있다. 심지어 큐리어시티 탐사 로봇까지 갖춘 상태로 말이다. 이 환경에서 사용자는 맷 데이먼이 된 마냥, 탐사 로봇을 조정해 토양 샘플을 수집하고 깃발도 꽂을 수 있다.




증강현실

사용자는 자신의 주변 환경을 스캔하여 실시간으로 디지털 모델을 구축할 수 있다. 그런 다음, 사용자가 게임을 하면 홀로그램으로 구현된 게임 등장인물이 거실 주위를 돌아다니게 된다. 홀로렌즈는 소파의 위치를 감지할 뿐만 아니라 재질이 가죽이라는 점, 나무로 된 바닥보다 훨씬 푹신하다는 사실까지도 알 수 있다.


현재까지 우리가 쉽게 만날 수 있는 (증강현실을 포함한) 복합현실 기술은 대부분 마케팅에 지우친 부분은 아쉽다. 단순 홍보나 광고로 만나는 복합현실은 잠시 동안 흥미 위주의 관심을 끌 수 있겠지만 오래 지속하기는 어렵다. 우리들의 관심이 줄어들고 관련 산업이 꽃을 피워보기도 전에 시들 수 있다는 의미다. 따라서 좀 더 깊은 고민과 연구를 통해 우리게 도움이 될 수 있는 다양한 콘텐츠를 개발하려는 노력이 필요하다. 이점을 의식해서인지 홀로렌즈 앱 개발에 사용자 참여를 독려하기 위해 마이크로소프트는 ’아이디어를 공유하자(Share Your Idea)’를 기획했고, 지난 1월 22일 최종 3개의 기획안이 정해졌다. 그리고 다음날 끝난 최종 투표에서 1위를 차지한 ’갤럭시 익스플로러(Galaxy Explorer)’는 소스 코드를 공개하며 정식 개발을 한다. ’그래브 더 아이돌’이 두 번째로 많은 표를 받았다.




갤럭시 익스플로러

교육용 앱으로 우주공간 사이를 비행하며 원하는 별에 착륙해 거닐 수 있다. 홀로렌즈가 작은방을 완벽한 달나라로 변신시킨다. 




그래브 더 아이돌

‘아이돌을 잡아라(그래브 더 아이돌)’은 홀로렌즈를 쓰고 즐길 수 있는 퍼즐 게임이다. 각종 함정과 장애물을 피해 중앙에 있는 아이돌 조각을 해제해야 하는 임무가 주어진다. 불바다와 날아오는 칼 그리고 독화살이 피해 몸을 숙이고 옆으로 피하면서 미션을 수행한다. 




에어쿠아리움

인터랙티브한 가상 어쿠아리움이다. 사용자는 해상 동식물 틈에 끼어 같은 사야에서 어울릴 수 있다. 물고기를 살짝 건드려 더 많은 정보를 얻을 수 있고, 가상 먹이를 뿌려 물고기가 자신의 주변을 애워싸게 할 수 있다.





여전히 뜬구름 잡는 얘기 같다면 홀로렌즈 개발 환경을 살짝 들여다 보자. 홀로렌즈 개발자 ‘크리스티나 호너’가 공개한 홀로렌즈의 UI와 애플리케이션 조작 화면이 도움이 될 것이다. 공중에 떠있는 시작 메뉴에서 앱을 시작하는 등 순조로운 개발 상황을 엿볼 수 있다. 홀로렌즈 속 시작 메뉴에서 실행한 ‘액션그램(Actiongram)’을 이용해 현실과 CG를 결합해 소파 같은 실제 물건에 CG로 만든 캐릭터를 올려놓는 등 마음껏 증강현실을 즐길 수 있다. 와이파이 연결이나 배터리 표시, 시간 같은 정보도 창에 표시해 편하게 확인할 수 있다. 더 간편한 클릭을 위해 마이크로소프트는 블루투스로 연결할 수 있는 ‘홀로렌즈 클리커(HoloLens Clicker)’도 개발 중이다. 

여기까지 보면 홀로렌즈는 가상과 현실 구별 없는 손짓에 반응하는 복합현실이며, 가상현실과 증강현실을 통합하는 최고의 솔루션이다. 고성능 PC가 필요한 프리미엄 가상현실 기기와 간편함을 장점으로 꼽히는 스마트폰용 가상현실 기기의 단점을 극복한 이상적인 형태이기도 하다. 게임 등 콘텐츠 제작사들도 홀로렌즈는 큰 관심사다. 오큘러스 리프트를 비롯한 고성능 시스템과 구글 카드보드, 삼성 기어 VR 등 스마트폰용 기기의 약점을 극복해 나가는 과정에서 결국 홀로렌즈 형태로 통합될 가능성이 높기 때문이다. 나사, 오토데스크, 볼보, 월트디즈니 등 쟁쟁한 글로벌 기업이 홀로렌즈 개발에 동참하는 이유이기도 하다. 




홀로렌즈 그 이후

만약 마이크로소프트의 야심대로라면 모든 디스플레이가 사라질 것이다. 우리 주변 공간 자체가 디스플레이 역할을 해서다. 데스크톱 PC와 연결된 모니터를 보며 앱을 실행하는 일련의 모든 과정이 현실 공간을 무대로 하는 무엇이든 구현 가능한 커다란 캔버스로 변신한다는 얘기다. 게다가 이 캔버스의 크기는 무제한이다. 컴퓨터 속에서 동영상 플레이어 창은 모니터 원래의 물리적인 크기에 국한된다. 그 동작을 현실에 중첩시키면 200인치 초대형 TV도 문제없다. 아이폰이 휩쓸고 간 자리에 워크맨은 없었다. 음악이 디지털 데이터로 판매되고 소비되기 시작했기 때문이다. 디스플레이 자체도 디지털 데이터다. 물론 현시점에서 홀로렌즈는 비싸고 여러 사람이 동시에 볼 수 없으니 당장은 상상하기 힘들다. 

그래서 열망하는 것이 하나의 홀로렌즈에 비친 영상을 공유하고 감상할 수 있는 고글이다(개발자 버전의 홀로렌즈 가격은 3,000달러다). 단순히 홀로렌즈에 비친 공간을 공유하는 것이니 새로운 기술이 필요한 것도 아닐터다. 그러면 가족 모두가 상상 이상의 어마어마한 화면으로 영화를 즐길 수 있다. 자신을 비추는 웹캠을 연결해 실시간 영상을 체험할 수 있다면 상당히 재미있을 것 같다. 실제로 누군가에게 전화할 때, 화상 통화처럼 나와 상대방을 확인하며 이야기할 수 있다면 그리고 그 영상을 홀로렌즈로 전송할 수 있다면 커뮤니케이션 도구로서 수많은 매력을 뽐낼 것이다. 

그러나 구글 글래스의 실패를 되돌아볼 필요가 있다. 구글 글래스가 공개되었을 때 우리는 홀로렌즈 이상의 찬사와 열광을 보냈다. 그런데 결과는 제대로 작동하지 않았다. 첨단 기술이 접목된 기기가 어느 샌가 이렇게 환상만 심어주고 끝나는 경우가 많다. 애플이 실제 작동하는 제품으로 시연을 한다면 구글, 마이크로소프트는 그 화려한 면만을 흉내 내는 셈이다. 홀로렌즈 개발자 버전은 3월 30일 출시된다.

  [리뷰전문 유튜브 채널 더기어TV]