가상현실(VR)업계가 ‘실시간 레이트레이싱’에 주목해야 하는 5가지 이유

실시간
뉴스

반도체

가상현실(VR)업계가 ‘실시간 레이트레이싱’에 주목해야 하는 5가지 이유

디지털데일리 발행일 2014-12-18 09:49:58

한주엽

URL복사

[디지털데일리 한주엽기자] 오큘러스 리프트(Oculus Rift)는 헤드셋 형태의 가상현실(VR) 기기다. 이 기기는 머리 움직임을 실시간으로 감지, 어떤 방향으로 움직여도 그 방향으로 시각을 제공해 사용자가 마치 가상의 현실 세계에 들어와 있다는 착각을 하게 만든다. 페이스북은 지난 3월 이 장비의 원천기술을 보유한 오큘러스 VR을 20억달러(약 2조원)에 인수해 화제를 낳았다. 삼성전자도 최근 오큘러스 VR과 협력해 만든 ‘기어 VR’을 미국 시장에 출시했다. 출시 첫 날 수천대가 팔려나가면서 일시적 품귀 현상을 빚었다. 업계 전문가들은 이 같은 사례를 들어 “오큘러스발 VR 혁명이 불어닥칠 것”이라는 전망을 내놓았다.

VR 시장이 꿈틀거리면서 주목받는 그래픽 기술은 바로 ‘실시간 레이트레이싱(Raytracing)’이다. 업계에선 오큘러스 리프트 형태의 VR 시장이 성공하려면 관련 콘텐츠가 늘고, 기기에 탑재되는 반도체의 연산 성능도 지금보다 높아져야 할 것으로 보고 있다. 실시간 레이트레이싱을 구현할 수 있다면, 이 같은 당면 과제를 해결할 수 있다는 것이 전문가들의 견해다. 레이트레이싱은 3D 컴퓨터 그래픽 기법 가운데 하나다. 가상의 광원에서 나온 빛이 대상의 표면에 반사되는 경로를 역으로 추적, 물체의 픽셀과 색상을 사실감 있게 형성하는 기술이다. 엄청난 양의 데이터를 계산해야 하므로 레이트레이싱 작업을 한 번씩 할 때마다 상당히 많은 시간이 걸린다. 따라서 이를 실시간으로 처리하는 건 그간 불가능에 가깝다고 여겨져 왔다. 그러나 소수의 업체들이 관련 기술을 개발했고, 일부 가시적 성과도 냈다.

현재 실시간 레이트레이싱 기술을 보유하고 있는 업체는 한국 벤처업체인 실리콘아츠와 영국 반도체 설계 지적자산(IP) 업체인 이매지네이션 등 2개뿐이다. 지난달 캐나다 토론토에서 열린 ‘ITA 이멀시드 VR 컨퍼런스(ITA Immersed VR Conference)’에서 실리콘아츠는 자사의 실시간 레이트레이싱 기술이 VR에 적합한 이유 5가지를 소개해 관심을 모았다. 이 회사의 주력 제품은 실시간 레이트레이싱 그래픽처리장치(GPU)인 레이코어(RayCore)다. 실시간 레이트레이싱용 GPU 시제품을 내놓은 업체는 실리콘아츠가 유일하다. 이 회사는 최근 미국 반도체 전문매체인 EE타임스가 선정한 ‘2015년 주목해야 할 반도체 스타트업 기업’에 선정된 바 있다.

실리콘아츠의 발표 내용을 옮겨와 VR과 실시간 레이트레이싱 기술이 어떤 연관성을 갖고 있는지 살펴보자.

①사실적인 3D 그래픽 효과

그간 GPU 업계에선 레이트레이싱을 실시간으로 처리하는 것이 불가능에 가깝다고 여겼으나 실리콘아츠는 레이코어라는 실시간 레이트레이싱 칩을 개발하는 데 성공했다. 레이코어 아키텍처는 다중 명령, 다중 데이터 처리에 최적화된 MIMD(Multi Instruction Multiple Data) 병렬처리 구조를 갖고 있다. 이에 따라 명령어 조합에 얽매이지 않고 병렬성을 높였으며 이를 통해 실시간 레이트레이싱을 가능케 했다. 이 회사의 최신 레이코어는 실시간 반사, 굴절, 그림자 생성 뿐 아니라 표면의 미묘한 오목함과 볼록함을 나타낼 수 있는 변위 매핑(Displacement mapping), 부드러운 그림자(Semi-soft shadow), 높은 음영효과(Ambient Occlusion)와 같은 진보한 그래픽 기능을 지원한다.

②간편한 콘텐츠 제작

3D 콘텐츠 제작 과정, 실시간 레이트레이싱이 구현되면 3ds 맥스나 마야 같은 저작 툴에서 빛 효과를 적용하는 작업 시간이 크게 줄어든다

실시간 레이트레이싱이 보편화되면 콘텐츠 생산이 간편해질 것으로 전망된다. 빛의 효과를 자동으로 연산해주는 것이 실시간 레이트레이싱 칩의 하드웨어적인 특징이므로 3D 콘텐츠 제작자가 빛 효과가 들어간 맵, 텍스처 이미지를 만드는 데 들이는 시간을 크게 줄일 수 있다. 이는 콘텐츠 제작 비용을 낮추는 효과로 이어진다. 실리콘아츠는 자사 레이코어에 맞춰진 애플리케이션프로그래밍인터페이스(API) 배포하고 있다. 이 API는 오픈GL ES와 상당히 유사해 처음 접하는 개발자들도 쉽게 접근할 수 있다고 한다.

③프레임 속도 상승

어떤 방향에서든 중앙을 집중적으로 렌더링하고 나머지 시선이 가지 않는 주변부는 낮은 품질로 렌더링을 해 프레임 속도를 높이고 컴퓨팅 파워, 전력소모량을 낮출 수 있다

오큘러스 리프트 같은 VR 기기는 높은 프레임 속도가 생명이다. 프레임 속도를 유지하면서 시야에 들어오는 모든 화면을 실시간으로 렌더링하려면 엄청난 컴퓨팅 연산 능력과 높은 전력이 요구된다. 실시간 레이트레이싱 기술을 적용하지 않더라도 프레임 속도를 유지하려면 높은 컴퓨팅 파워가 필요하다. 오큘러스 리프트가 PC와 연결해 사용하는 형태를 유지하는 이유도 바로 여기 있다. (디스플레이 용도로) 갤럭시노트4를 꽂아 사용하는 기어VR의 경우 권장 연속 사용시간이 25~30분으로 제한되는 것으로 전해진다. 다량의 연산에 따른 발열 때문이다. 배터리도 오래 버티지 못한다. 레이코어는 선택적 랜더링(Selectively Dithered Rendering, SDR) 기술에 기반을 둔 포비에이티드 렌더링(Foveated Rendering) 기법을 지원한다. 어떤 방향에서든 중앙을 집중적으로 렌더링하고 나머지 시선이 가지 않는 주변부는 낮은 품질로 렌더링을 하는 것이 이 기법의 핵심 골자다. 이를 통해 높은 프레임 속도를 유지하면서도 전력을 적게 쓰고 발열을 낮출 수 있다는 것이 실리콘아츠의 설명이다.

④S3D에 최적화된 조명 계산

오큘러스 리프트, 기어VR 같은 기기는 양안의 시차를 활용해 원근감을 표현하는 스테레오스코픽3D(Stereoscopic 3D, S3D) 방식으로 제작돼 있다. 즉, 왼쪽 눈과 오른쪽 눈으로 들어오는 영상이 다르다. 기존 GPU 알고리듬은 양안시차를 활용하는 S3D 환경에서 정확한 조명 효명 효과를 내지 못하므로 튜닝 작업을 거쳐야 한다. 그런데 이 작업은 어렵고, 시간도 많이 걸린다. 레이트레이싱은 픽셀 단위로 계산이 이뤄지는 덕에 S3D 환경에서도 정확하고 정밀하게 조명 효과를 낼 수 있다. 화면의 왜곡을 줄이는 것도 가능하다. VR 기기는 볼록 렌즈를 사용하는 탓에 눈앞에 펼쳐진 가상현실의 화면에 왜곡이 생긴다. 필터 등을 사용해 왜곡을 억지로 없앨 수 있지만 광선을 쏘는 단계부터 튜닝이 가능한 레이트레이싱 기술을 활용하면 이 왜곡을 근본적으로 없앨 수 있다. 별도 하드웨어를 부착하지 않아도 되므로 기기의 생산 원가를 줄일 수 있다는 것이 장점이다.

⑤시각-청각 정보 불일치 문제 해결

눈 앞에 펼쳐지는 시각 정보와 귀로 들리는 청각 정보의 불일치는 오큘러스 리프트의 고질적 단점으로 지적돼 왔다. 실리콘아츠는 자사 실시간 레이트레이싱 기법과 연동되는 레이사운드(RaySound) 기술을 해법으로 내놓았다. 이른바 ‘사운드트레이싱’이다. 레이사운드는 3D 형상 데이터의 빛 경로를 추적해 실제와 같은 소리 효과를 내는 기술이다. 앞뒤좌우 소리를 분간할 수 있고 동일 이벤트(예컨대 총을 쏘는 소리)라 하더라도 사무실에서, 공원에서, 숲속에서 들리는 소리가 다르다.

<한주엽 기자>powerusr@ddaily.co.kr