애니 논문: 3D 가우시안 스플래팅: 방사장을 실시간으로

3D 가우시안 스플래팅: 실시간 래디언스 필드 렌더링

Kerbl 외 연구팀은 2023년 SIGGRAPH에서 혁신적인 기술인 3D 가우시안 스플래팅을 발표했습니다. 이 기술은 수백만 개의 미세한 3D 가우시안 분포를 사용하여 복잡한 장면을 표현하고, 이를 미분 가능한 래스터라이저와 결합하여 NeRF(Neural Radiance Fields) 수준의 품질을 유지하면서 실시간 프레임 레이트를 달성합니다. 이러한 접근은 디지털 제작 분야에서 획기적인 발전을 의미합니다.

이 기법의 핵심은 장면을 이루는 각 점을 3D 가우시안 하나로 모델링하는 것입니다. 가우시안 하나는 중심 위치(평균), 퍼짐과 방향을 함께 담은 3×3 공분산 행렬, 불투명도, 그리고 보는 방향에 따라 색이 달라지도록 하는 구면 조화 계수로 정의됩니다. 공분산은 그대로 최적화하면 양의 정부호 조건이 깨지기 때문에, 스케일 벡터와 회전 쿼터니언으로 분해해 학습합니다.

중심 위치는 가우시안이 장면 어디에 놓이는지를, 공분산은 어느 방향으로 얼마나 늘어난 타원체인지를 결정합니다. 방향 없는 구가 아니라 방향을 가진 타원체이기 때문에 벽면이나 나뭇가지처럼 한쪽으로 길쭉한 구조를 적은 개수로 덮을 수 있습니다. 학습 중에는 이 값들이 렌더 오차를 따라 함께 조정되고, 그와 별개로 오차가 큰 자리의 가우시안은 쪼개거나 복제하고 거의 투명해진 것은 지우는 밀도 조절이 주기적으로 일어납니다.

실시간 프레임 레이트의 실현

속도의 비결은 신경망 질의를 없앤 렌더링 방식에 있습니다. NeRF는 광선 위의 샘플 지점마다 MLP를 통과시켜야 하지만, 가우시안 스플래팅은 3D 가우시안을 화면에 타원으로 투영한 뒤 화면을 작은 타일로 나누고 타일마다 깊이 순으로 정렬해 알파 합성만 하면 됩니다. 이 래스터화 과정이 미분 가능하게 짜여 있어 학습에도 같은 경로를 그대로 쓰고, 학습이 끝난 장면은 소비자용 GPU에서 1080p 기준 초당 30프레임 이상, 장면에 따라 100프레임을 넘기며 시점을 바꿔볼 수 있습니다.

실시간으로 돌아간다는 것은 결과를 기다렸다 확인하는 대신 카메라를 움직이며 바로 확인한다는 뜻입니다. 게임 개발이나 버추얼 프로덕션에서 조명과 배치를 고쳐가며 반복하는 작업이 그만큼 짧아집니다. 대신 학습 단계에서는 VRAM을 수 GB씩 쓰는 고성능 GPU가 필요하고, 완성된 장면도 가우시안 수가 많아지면 파일 크기가 수백 MB에 이르러 저사양 기기에서는 프레임이 떨어집니다.

응용 분야와 실제 활용

이 기술은 게임 개발과 버추얼 프로덕션 분야에서 특히 유용합니다. 게임 개발자들은 실시간으로 복잡한 환경을 생성하고 조작할 수 있어, 플레이어 경험을 크게 향상시킬 수 있습니다. 버추얼 프로덕션에서는 실제 촬영 환경을 가상으로 빠르게 재현하여 촬영 과정을 효율화할 수 있습니다.

예를 들어, 영화 촬영 현장에서 가상 배경을 실시간으로 생성하고 조정할 수 있게 되면, 촬영 스케줄이 단축되고 비용 절감 효과가 기대됩니다. 이는 촬영 현장에서 즉각적인 시각적 피드백을 제공하여 연출가의 창의성을 더욱 자유롭게 발휘할 수 있게 합니다.

알면 좋아지는 점

3D 가우시안 스플래팅을 이해하면 다음과 같은 이점이 있습니다:

• 복잡한 3D 모델링의 효율성: 세밀한 디테일을 유지하면서도 빠른 렌더링이 가능해지므로, 복잡한 장면을 효과적으로 다룰 수 있습니다.
• 실시간 인터랙션의 향상: 사용자와 장면 간의 실시간 상호작용이 향상되어, 더욱 실감나는 경험을 제공할 수 있습니다.
• 기술적 진보 인식: 최신 그래픽 기술의 발전을 이해함으로써, 관련 업계에서의 혁신적인 솔루션 개발에 기여할 수 있습니다.

모르면 겪는 문제

이 기술에 대한 이해가 부족하면 다음과 같은 어려움이 발생할 수 있습니다:

• 효율적인 활용 부족: 최적의 성능을 내기 위한 파라미터 튜닝과 설정에 대한 무지로 인해 기술의 잠재력을 충분히 활용하지 못할 수 있습니다.
• 기술적 한계 인식 부족: 하드웨어 제약과 성능 제약을 인지하지 못해 실제 적용 시 예상치 못한 문제에 직면할 수 있습니다.
• 혁신 기회 상실: 최신 기술 동향을 따라잡지 못하면 업계의 혁신적인 발전 기회를 놓칠 수 있습니다.

결론

3D 가우시안 스플래팅은 디지털 콘텐츠 제작 분야에서 혁신적인 발전을 이루어낸 기술입니다. 세밀한 3D 표현과 실시간 성능의 결합은 게임 개발자와 버추얼 프로덕션 전문가들에게 새로운 창의적 자유를 제공합니다. 그러나 이를 효과적으로 활용하려면 기술적 이해와 적절한 하드웨어 환경이 필수적입니다.