언리얼 Verse (메타버스·버추얼 프로덕션): 실시간 렌더링과 방송

실시간 렌더링, 그림을 '즉석에서' 그리는 마법

여러분, 게임 속 캐릭터가 어떻게 움직이는지 궁금했던 적 있나요?

사실 게임 화면은 아주 빠르게 그려지는 그림들이에요. 컴퓨터가 1초에 수십 장의 그림을 뚝딱뚝딱 그려서 보여 주는 거예요. 이렇게 그림을 그 자리에서 바로바로 만들어 내는 것을 실시간 렌더링이라고 불러요.

'렌더링'은 컴퓨터가 그림을 그리는 일이에요. '실시간'은 기다리지 않고 바로바로 한다는 뜻이고요.

즉석 요리와 도시락의 차이

쉬운 비유를 하나 들어 볼게요.

영화의 컴퓨터 그래픽은 도시락 같아요. 미리 오랜 시간 정성껏 만들어 두고, 나중에 꺼내서 보여 줘요. 한 장면을 그리는 데 몇 시간이 걸려도 괜찮아요. 어차피 미리 만드니까요.

반면 게임은 즉석 떡볶이 같아요. 주문하면 바로 그 자리에서 만들어 줘요. 여러분이 조이스틱을 왼쪽으로 밀면, 컴퓨터는 그 순간 왼쪽으로 움직인 그림을 새로 그려야 해요. 미리 만들어 둘 수가 없어요. 여러분이 어디로 갈지 컴퓨터도 모르니까요!

그래서 실시간 렌더링은 빠른 속도가 생명이에요.

1초에 60장? 그림이 움직이는 비밀

공책 귀퉁이에 그림을 조금씩 다르게 그리고 촤르륵 넘기면, 그림이 움직이는 것처럼 보이죠? 게임 화면도 똑같은 원리예요.

컴퓨터는 보통 1초에 30장에서 60장의 그림을 그려요. 그림 한 장 한 장을 '프레임'이라고 불러요. 프레임이 빠르게 이어지면 우리 눈에는 부드럽게 움직이는 세상처럼 보여요.

이 일을 반복하는 순서를 그림으로 볼까요?

그림 그리기 선수, GPU

이 빠른 그림 그리기를 담당하는 특별한 부품이 있어요. 바로 GPU(그래픽 처리 장치)예요.

컴퓨터의 두뇌인 CPU가 한 명의 똑똑한 화가라면, GPU는 수천 명의 화가가 동시에 붓을 든 팀이에요. 한 명은 하늘을, 한 명은 나무를, 한 명은 캐릭터의 얼굴을 동시에 칠해요. 그래서 눈 깜짝할 사이에 그림 한 장이 완성돼요.

옛날의 실시간 그래픽은 어땠을까?

지금은 실시간 그래픽이 진짜 사진처럼 보이지만, 처음부터 그랬던 건 아니에요.

2000년쯤에는 강과 나무를 실시간으로 그리는 것만으로도 대단한 기술이었어요. 아래 그림처럼요.

그때는 방의 벽 전체를 화면으로 만들어서, 그 안에 들어가 가상 세계를 구경하는 실험도 했어요. 마치 가상 세계 방에 들어가는 것 같았죠. 지금의 메타버스와 VR의 할아버지뻘인 셈이에요.

음악에 맞춰 춤추는 그림

실시간 렌더링은 게임에만 쓰이는 게 아니에요.

음악 재생 프로그램에서 노래에 맞춰 알록달록한 무늬가 출렁이는 걸 본 적 있나요? 그것도 실시간 렌더링이에요. 컴퓨터가 지금 나오는 소리를 듣고, 그 순간에 어울리는 그림을 즉석에서 그려 내는 거예요. 노래가 어떻게 흘러갈지 미리 알 수 없으니, 반드시 실시간으로 그려야 해요.

진짜 같은 풍경도 즉석에서

기술이 발전하면서, 이제는 산과 계곡 같은 커다란 풍경도 실시간으로 그릴 수 있게 되었어요. 아래 그림은 2014년에 실시간으로 그려진 지형이에요. 미리 만든 그림이 아니라, 컴퓨터가 그 자리에서 계산해 그린 거예요.

방송국에 들어간 실시간 렌더링

그런데 이 기술이 요즘 방송에서 아주 인기예요. 왜일까요?

옛날에는 드라마에서 우주나 판타지 세계를 보여 주려면, 초록색 천 앞에서 촬영하고 나중에 몇 달 동안 배경을 그려 넣었어요. 도시락 방식이었죠.

지금은 다르답니다. 거대한 LED 화면에 게임 엔진이 만든 배경을 실시간으로 띄워 놓고, 배우가 그 앞에서 연기해요. 카메라가 움직이면 배경도 같이 움직여요. 이것을 버추얼 프로덕션(가상 제작)이라고 해요.

일기예보에서 기상 캐스터 뒤에 떠 있는 구름 지도, 선거 방송의 화려한 3D 그래픽도 모두 실시간 렌더링이에요. 생방송은 기다려 주지 않으니까, 그림도 실시간으로 나와야 하거든요.

버추얼 유튜버도 실시간 렌더링!

귀여운 캐릭터가 말하고 웃는 버추얼 유튜버를 본 적 있나요?

화면 뒤에는 진짜 사람이 있어요. 카메라가 그 사람의 표정과 몸짓을 읽으면, 컴퓨터가 캐릭터를 똑같이 움직여 줘요. 사람이 웃으면 캐릭터도 웃고, 고개를 갸웃하면 캐릭터도 갸웃해요. 이 모든 게 실시간으로 일어나요. 조금이라도 늦으면 어색해 보이니까요.

언리얼 엔진과 메타버스

이런 실시간 렌더링을 잘하는 대표 도구가 바로 언리얼 엔진이에요. 원래는 게임을 만드는 도구였는데, 그림 실력이 워낙 뛰어나서 방송국과 영화 촬영장에서도 쓰이게 되었어요.

언리얼 엔진에는 Verse라는 프로그래밍 언어도 있어요. 포트나이트 같은 메타버스 공간에서 나만의 게임과 규칙을 만들 때 쓰는 언어예요. 여러 사람이 동시에 접속해 함께 노는 메타버스도 결국, 모두의 화면에 세상을 실시간으로 그려 주는 기술 위에서 돌아가는 거예요.

정리해 볼까요?

• 실시간 렌더링은 컴퓨터가 그림을 즉석에서 그려 보여 주는 기술이에요.
• 1초에 수십 장의 그림(프레임)을 그려서 움직임을 만들어요.
• 그림 그리기 선수인 GPU가 이 일을 담당해요.
• 게임뿐 아니라 일기예보, 버추얼 프로덕션, 버추얼 유튜버, 메타버스까지 폭넓게 쓰여요.

다음에 게임을 하거나 일기예보를 볼 때, 화면 뒤에서 수천 명의 화가 팀이 1초에 60장씩 그림을 그리고 있다고 상상해 보세요. 훨씬 신기하게 보일 거예요!