언리얼 아트: 메타휴먼 오디오 구동 애니메이션 — 목소리만으로 얼굴을 움직인다

목소리만 있으면 얼굴이 움직인다

페이셜 애니메이션은 원래 촬영이 필요했다. 배우 얼굴을 찍고, 솔브를 돌리고, 리그에 얹었다. 카메라와 배우 없이는 시작조차 어려웠다.

메타휴먼의 오디오 구동 애니메이션은 그 앞단을 지운다. 준비물은 음성 파일 하나다.

준비물

UE 5.6 이상 프로젝트와 메타휴먼 애니메이터 플러그인이 있어야 한다. 음성은 SoundWave 에셋으로 임포트해 둔다.

wav가 아니어도 된다. 언리얼이 SoundWave로 받아주는 포맷이면 모두 쓸 수 있다.

순서

콘텐츠 브라우저에서 MetaHuman Performance 에셋을 새로 만든다. 더블클릭해 디테일 패널을 연다.

Input Type을 Audio로 바꾼다. Audio 항목에 준비한 SoundWave를 넣는다. Visualization Mesh에는 대상 메타휴먼 페이스 메시를 지정한다.

입만 움직이지 않는다

이 기능이 만드는 것은 입 모양만이 아니다. 모든 페이셜 컨트롤에 값이 들어간다.

오프라인 경로를 쓰면 파라미터가 더 열린다. 머리 움직임, 깜빡임, 무드를 조절할 수 있다. 상부 얼굴 제스처도 추론해 넣는다.

이름 때문에 오해하기 쉬운 부분이 하나 있다. Realtime Audio Solver를 쓰더라도 이건 오프라인 처리다. Live Link로 실시간 구동하는 것과는 다르다.

메시가 파고들 때

생성된 결과에서 얼굴 메시가 서로 파고드는 경우가 있다. 입술이나 눈꺼풀이 겹쳐 보이는 상태다.

이때는 애니메이션 클립 쪽 옵션을 확인한다.

파이프라인에서의 쓸모

완성본을 만드는 도구로 보면 실망하기 쉽다. 감정의 결이나 연기의 의도는 아직 사람 손이 필요하다.

대신 1차 패스로는 강하다. 프리비즈에서 대사 타이밍을 잡거나, 배경 인물의 립싱크를 채울 때 시간이 크게 줄어든다.

공식 문서는 Audio Driven Animation에 정리돼 있다.

쉽게 풀어보기

사람 얼굴이 말하는 애니메이션을 만들려면 원래 손이 많이 갔다. 배우 얼굴을 카메라로 찍어야 했다.

이제는 목소리 파일만 있으면 된다. 컴퓨터가 소리를 듣고 입 모양을 맞춰 준다.

입만 움직이는 것도 아니다. 눈 깜빡임이나 고개 끄덕임까지 같이 만들어 준다.

방법은 간단하다. 새 파일을 하나 만들고, 목소리를 넣고, 어떤 얼굴에 붙일지 고른다. 그리고 버튼 하나를 누른다.

가끔 얼굴 살이 서로 파고들 때가 있다. 그럴 땐 애니메이션 쪽 설정에서 옵션 하나를 켜면 된다.

물론 완벽하지는 않다. 감정 연기는 사람이 다시 다듬어야 한다. 하지만 밑그림을 아주 빨리 만들어 준다.