'VR기술'에 해당되는 글 1건

  VR기기는 사람의 눈 가까이에 있다. 현실 세계로 부터 사람의 눈을 완벽히 차단하고, 개발자가 의도한 것들을 보여주기 위한 것이다. VR을 하고 있는 와중에 현실세계가 어슴푸레 보인다면 사용자는 VR에 집중하지 못할 것이다. 또 현실 세계의 빛이 화면을 방해하지 않도록 기구도 철저하게 설계된다. VR을 즐기는 동안 (특히 코 쪽에서) 빛이 새어들어오면 몰입도가 떨어져 게임을 방해하게 된다. 이를 막기 위해 코 부분을 특히 신경 쓴다. 서양 사람들과 동양사람들의 코 높이가 달라서 어떤 기준을 적용할지 결정이 어렵기는 하다. 서양 사람들 기준에 맞추면 동양사람들은 코 쪽으로 새어 들어오는 빛이 방해가 될 것이고 동양 사람들 기준에 맞추면 서양사람들은 답답함을 느낄 것이기 때문이다. 그래서 보통 코쪽은 부드러운 소재로 마감 된다.

  자, 이제 사용자를 외부와 차단된 가상 세계로 초대하였다. 사용자들은 신기한 가상 세계를 이리 저리 둘러 볼 것이다. 그럼 VR은 사용자의 머리 움직임을 모니터링 하여 그에 맞도록 VR 화면에 그림을 그려준다. 사용자가 머리를 오른쪽으로 돌리면 가상 세계는 왼쪽으로 돌아간다. 왼쪽으로 돌리면 또 그에 따라 가상 세계도 돌아간다. 만약에 가상 세계를 사람의 동작에 따라 정확하게 반응시키지 못한다면 사용자는 바로 멀미를 느낄 것이다. (이렇게 사용자의 동작, 그러니까 머리의 회전과 이동을 모니터링하는 과정을 "트래킹"이라고 한다.)

  왜 멀미를 느낄까? 내 머리가 어느 쪽으로 돌아가든 그냥 내 눈앞에서 화면이 바뀌는 것 뿐인데... 문제의 근원은 바로 우리가 그렇게 환경에 적응 했기 때문이다. 사람의 귀 안에 들어있는 전정기관은 우리 몸의 이동과 평형 감각을 담당하는 기관이다. 이 전정기관이 우리가 움직이거나 고개를 돌릴 때마다 이를 감지한다. 

그림 출처: 귀와 소리 이야기

  이렇게 고개를 돌리는 동작에 따라 시각 정보 역시 변화한다. 당연한 것이, 우리가 고개를 왼쪽으로 돌려 왼쪽을 바라보면 우리의 왼쪽 세계(?)가 보이게 된다. 전정기관에서 발생하는 신호와 눈을 통해 들어오는 시각 정보가 일치 하는 것이다. 인간은 태어나 시각이 발달하기 시작하면서 부터 전정기관의 신호와 시각 정보의 변화를 매칭시키는 훈련을 해왔다. 따라서 전정기관으로 부터 왼쪽으로 돌고 있다는 신호가 들어오면 시각 정보도 이에 맞추어 변화될 것이라 기대한다.(이런 반응을 VOR, Vestibular Oculus Reaction이라고 한다.) 그런데 기대했던 것과 다른 시각 정보가 들어온다면 어떨까? 바로 멀미를 느끼게 된다. VOR에 문제가 발생하는 것이다. 

  VR은 사용자가 멀미를 느끼지 않도록 하기 위해 여러 기술들을 사용한다. 고개를 왼쪽으로 돌렸을 때 이러한 상태를 재빠르게 파악해서 눈에 뿌려지는 이미지를 적당히 움직여야한다.

  여기서 중요한 기술이 바로 위에서 말한 트래킹이다. 이를 위해, IMU(Inertial Measurement Unit)라는 센서를 사용하고, 추가로 Geomagnetic 센서나 카메라(이미지 센서)를 사용하기도 한다. 사람 귀에 있는 전정기관의 역할을 하는이 센서들을 통해 트래킹을 하는 것이다. 또 하나의 중요한 기술이 랜더링이다. 이 랜더링 과정에서는 트래킹에 의해 감지된 동작에 따라 여러 수식을 거쳐 사용자의 눈에 비춰지는 컨텐츠를 움직이고 화면에 그려준다. 간단히 살펴보면, 오브젝트의 움직임에 따라 방향과 위치를 바꾸어주고, Local coordinates를 World coordinates로 바꿔주고 카메라의 바라보는 방향과 위치에 따라 그림을 그려주는 과정인 것이다. (점점 더 어려워진다. ㅠㅠ)

  이렇게 트래킹과 랜더링을 통해 사람이 마치 가상의 세계에서 움직이는 것처럼 속이는 것이 바로 VR 기술이다. 그런데 수많은 세월동안 훈련을 통해서 완성(?)된 VOR을 이 속임수로 만족 시킬 수가 없는 것이 현실이다. 바로 속도라는 허들 때문이다. 센서를 통해서 사용자의 동작을 알아내고 그에 맞도록 그림을 그려주는게 그리 만만치 않다. 다시 말해, 많은 시간(그래봐야 1/10초도 안되는 시간이지만..)이 필요하다. 사람은 보통 16.7ms의 변화에도 민감한 반응을 보일 정도로 완벽한(?) VOR체계를 가지고 있어서, 트래킹과 랜더링 과정에서 뭔가 삐끗하는 순간 이상함을 느낀다. 그래서 VR은 사람의 동작에서 부터 그로인한 변화가 화면에 보일 때까지의 시간을 20ms 이하로 책정했다. 이것을 MTP(Motion To Photon)라고 하는데, 이 시간내에 모든것이 이루어지지 않으면 사용자의 몰입도를 떨어트린다고 한다.

  앞으로의 글에서, 엔지니어들이 어떻게 이 20ms라는 시간의 허들을 넘는지 알아볼 것이다. 점점 더 어려워지겠지만 어떻게 보면 점점 더 흥미로울 수도 있다는 생각이 든다.