애니 논문: First Order Motion Model: 사진 한 장을 움직이다

First Order Motion Model: 사진 한 장으로 움직이는 대상

First Order Motion Model은 Siarohin 등이 NeurIPS 2019에서 제안한 혁신적인 기술로, 정지 이미지 한 장과 구동 영상만으로 이미지 내 대상의 움직임을 재현하는 데 초점을 맞춥니다. 이 모델은 자기지도 학습 방식을 활용하여 대상의 동적 표현을 효과적으로 학습합니다.

핵심 아이디어는 정지 이미지 내의 주요 키포인트를 식별하고, 이 키포인트들을 기반으로 국소 아핀 변환을 적용하여 움직임을 분해하고 표현하는 것입니다. 이를 통해 다양한 형태의 대상 (얼굴, 전신, 만화 캐릭터 등)에 대해 일관된 움직임을 생성할 수 있습니다.

작동 원리: 키포인트와 아핀 변환

모델은 먼저 소스 이미지와 구동 영상의 각 프레임에서 키포인트 집합을 추출합니다. 이 키포인트는 사람이 어깨·팔꿈치처럼 이름을 붙여 가르친 것이 아니라, 영상을 다시 그려 보는 학습 과정에서 모델이 스스로 잡아낸 위치입니다. 의미 라벨이 필요 없기 때문에 얼굴이든 전신이든 만화 캐릭터든 같은 구조로 다룰 수 있습니다.

움직임은 이 키포인트 주변의 국소 아핀 변환으로 표현합니다. 기준 프레임을 하나 두고, 각 키포인트 근처의 변형을 1차 테일러 전개로 근사합니다. 즉 키포인트가 얼마나 이동했는지와, 그 주변이 어떻게 늘어나고 돌아가는지를 나타내는 2×2 야코비 행렬 한 쌍이 키포인트 하나의 움직임을 기술합니다. 모델 이름의 ‘first order’가 바로 이 1차 근사를 가리킵니다.

여기서 야코비 행렬은 회전만이 아니라 확대·축소와 전단까지 포함하는 일반적인 선형 변환입니다. 키포인트별 국소 변환을 하나로 합치면 화면 전체의 조밀한 모션 필드가 되고, 함께 예측한 가림 마스크가 원본에서 그대로 옮겨올 수 없는 영역을 표시해 생성기가 그 부분을 새로 그리게 합니다.

사용 사례와 실제 적용

이 모델은 특히 애니메이션 제작, 가상 현실(VR), 증강 현실(AR) 분야에서 유용합니다. 예를 들어, 게임 개발자들은 이 기술을 활용하여 정지 이미지에서 시작해 캐릭터의 자연스러운 움직임을 생성할 수 있습니다.

쓸 때 좋은 점과 힘든 점

First Order Motion Model을 실제로 쓰기 전에 아래 네 가지는 알아두는 편이 낫습니다.

• 좋은 점 · 데이터 부담이 작다: 부위 라벨이나 3D 모델 없이 소스 이미지 한 장과 구동 영상만 있으면 움직임을 옮길 수 있습니다.
• 좋은 점 · 대상을 가리지 않는다: 키포인트를 자기지도로 학습하므로 얼굴, 전신, 만화 캐릭터에 같은 방식이 그대로 적용됩니다.
• 힘든 점 · 큰 자세 차이에 약하다: 소스와 구동 영상의 자세나 시점이 많이 다르면 형태가 무너지고, 원본에 찍히지 않은 면(뒤통수, 가려졌던 팔)은 흐릿하게 채워집니다.
• 힘든 점 · 학습 비용: 얼굴·전신처럼 대상 범주마다 해당 도메인 영상으로 따로 학습해야 하고, 그 과정에 상당한 시간과 GPU 자원이 듭니다.

결론

First Order Motion Model은 정지 이미지와 구동 영상을 통해 대상의 움직임을 효과적으로 재현하는 강력한 도구입니다. 이를 통해 개발자와 디자이너는 데이터 효율성과 표현력을 동시에 높일 수 있습니다. 그러나 실제 적용 시에는 모델의 제약 사항을 고려하여 적절한 기대치를 설정하는 것이 중요합니다.