얼굴 퍼포먼스 캡처 파이프라인: 촬영에서 최종 리그까지

얼굴 퍼포먼스 캡처의 산출물은 완성 애니메이션이 아니라 배우의 움직임을 추정한 데이터다. 안정적인 결과를 얻으려면 촬영, 캘리브레이션, 솔브, 리타기팅, 아티스트 수정, 엔진 검수의 책임을 분리해야 한다.

1. 촬영 설계

렌즈, 프레임레이트, 셔터, 조명, 배우와 카메라의 거리를 고정한다. 중립 표정과 발음 범위, 눈 깜빡임, 턱의 최대 개방, 좌우 비대칭을 포함한 ROM(range of motion)을 먼저 촬영한다. HMC나 깊이 카메라를 쓰더라도 치아·혀·입술 접촉은 가림이 많으므로 별도 레퍼런스가 필요하다.

2. 추적과 솔브

2D 랜드마크는 영상 좌표에서 특징점을 찾고, 3D 솔브는 머리 자세와 표정 파라미터를 동시에 추정한다. 이때 머리의 강체 운동과 피부의 비강체 변형을 분리하지 않으면 고개 움직임이 표정 채널에 섞인다. 신뢰도가 낮은 프레임은 자동 보간보다 플래그를 남겨 수동 검수 대상으로 보내는 편이 안전하다.

3. 리타기팅

배우의 채널을 캐릭터 리그에 그대로 복사하면 비율 차이 때문에 과장과 압축이 발생한다. 채널별 gain, clamp, dead zone을 설정하고, 입꼬리·볼·눈꺼풀처럼 결합된 부위는 다변량 매핑을 사용한다. ROM 포즈를 기준으로 소스와 타깃의 의미를 맞추고 캐릭터 고유의 스타일을 보존한다.

4. 아티스트 수정

솔브 곡선은 노이즈 제거보다 의도 보존이 우선이다. 과도한 smoothing은 파열음의 빠른 입술 접촉과 미세한 시선 변화를 지운다. 베이스 솔브, 코렉티브, 연기 강조 레이어를 분리하면 재솔브 후에도 수정분을 유지할 수 있다.

5. 품질 검수

정면만 보지 말고 3/4와 측면에서 실루엣, 입술 관통, 눈꺼풀-안구 접촉, 치아 노출, 볼륨 보존을 확인한다. 최종 엔진에서는 LOD 전환, 프레임 지연, 압축 후 곡선 손실까지 검수한다. 승인 기준은 “추적 오차가 작다”가 아니라 “대사의 타이밍과 배우의 의도가 캐릭터에서 읽힌다”이다.

참고

Epic Games MetaHuman Animator: https://dev.epicgames.com/documentation/metahuman/metahuman-animator-in-unreal-engine

MetaHuman 얼굴 캡처 가이드: https://dev.epicgames.com/documentation/metahuman/animation-from-depth-data

관련 공식 이미지 — MetaHuman Animator 얼굴 퍼포먼스 처리 흐름

출처: Epic Games MetaHuman Animator 공식 문서