애니 논문: SkelMo: Universal Skeletal Motion Generation for 3D Rigged Shapes

움직이지 않는 3D 인형에게 춤을 가르치는 마법, 스켈모(SkelMo)

여러분, 게임이나 애니메이션 속 캐릭터가 어떻게 움직이는지 궁금한 적 있나요?

3D 캐릭터 안에는 사람처럼 뼈대가 숨어 있어요. 이 뼈대를 움직여야 캐릭터가 걷고, 뛰고, 춤을 출 수 있지요. 그런데 뼈대를 하나하나 손으로 움직이는 건 정말 힘든 일이에요. 마치 인형극에서 줄을 수십 개씩 잡아당기는 것과 같거든요.

오늘 소개할 스켈모(SkelMo)는 이 일을 인공지능이 대신해 주는 기술이에요. 동영상 하나만 보여주면, 어떤 모양의 3D 캐릭터든 그 동영상처럼 움직이게 만들어 줘요. 사람, 강아지, 심지어 상상 속 용까지도요!

기존 방법과 뭐가 다를까? 옷 가게에 비유해 봐요

스켈모가 왜 대단한지 알려면, 예전 방법들과 비교해 보는 게 제일 쉬워요. 3D 캐릭터에게 움직임을 입히는 걸 옷을 입히는 일이라고 생각해 볼게요.

방법 1: 기성복 방식 (템플릿 방법)

첫 번째 방법은 미리 만들어 둔 옷을 파는 기성복 가게 같아요.

사람 몸에 맞는 옷만 잔뜩 있는 거예요. 사람 캐릭터라면 금방 옷을 입힐 수 있어요. 빠르고 편하지요.

하지만 문제가 있어요. 문어처럼 다리가 8개인 캐릭터가 오면? 날개 달린 용이 오면? 맞는 옷이 없어요! 기성복 방식은 정해진 몸 모양에만 쓸 수 있다는 게 큰 약점이에요.

방법 2: 맞춤 재단 방식 (하나씩 최적화)

두 번째 방법은 손님 한 명 한 명 몸을 재서 옷을 만드는 맞춤 양복점 같아요.

어떤 몸 모양이든 옷을 만들 수는 있어요. 하지만 옷 한 벌 만드는 데 시간이 아주아주 오래 걸려요. 컴퓨터가 밤새 계산해야 하지요.

게다가 실수도 잦아요. 손님을 앞에서만 보고 옷을 만들면 뒷모습이 이상해지는 것처럼, 동영상을 한쪽 방향에서만 보면 보이지 않는 부분을 엉뚱하게 만들어 버리곤 해요.

방법 3: 스켈모 방식 (척척박사 재단사)

스켈모는 수만 명의 손님을 만나 본 척척박사 재단사 같아요.

이 재단사는 경험이 엄청나게 많아서, 처음 보는 몸 모양의 손님이 와도 "아, 이런 몸에는 이렇게 입히면 되겠구나!" 하고 금방 알아차려요. 빠르면서도 어떤 모양이든 소화하는 거예요. 기성복의 빠름과 맞춤복의 유연함, 두 장점을 모두 가진 셈이지요.

스켈모의 비밀 1: 엄청나게 많은 공부

척척박사 재단사가 되려면 경험이 필요하겠지요?

연구팀은 스켈모에게 약 2만 개의 3D 애니메이션을 공부시켰어요. 사람, 동물, 괴물까지 온갖 캐릭터가 움직이는 자료를 모은 거예요. 각 자료에는 캐릭터의 색깔(텍스처), 뼈대, 다양한 동작이 모두 들어 있어요.

이건 요리사가 되기 위해 요리책 2만 권을 읽는 것과 비슷해요. 많이 볼수록 처음 보는 재료로도 맛있는 요리를 만들 수 있게 되지요.

스켈모의 비밀 2: 뼈마다 이름표 붙이기

그런데 어려운 문제가 하나 있어요. 동영상은 평평한 2D이고, 캐릭터의 뼈대는 입체적인 3D라는 점이에요. 평평한 그림 속 움직임을 입체 뼈대에 옮기는 건 쉽지 않아요.

게다가 캐릭터마다 뼈대 모양이 달라요. 강아지 뼈대와 새 뼈대는 완전히 다르잖아요?

스켈모는 이 문제를 이름표로 해결했어요. 뼈 하나하나에 "나는 왼쪽 앞다리야", "나는 날개 끝이야" 같은 정보를 붙여 두는 거예요. 그 뼈가 어떤 색 부위에 붙어 있는지, 어떤 역할을 하는지도 함께요. 이걸 어려운 말로 구조-의미 주입이라고 해요.

이름표 덕분에 스켈모는 동영상에서 "다리가 앞으로 나가네!"를 보면, 캐릭터 뼈대에서 다리 역할을 하는 뼈를 정확히 찾아 움직일 수 있어요. 문어의 다리든 용의 날개든 헷갈리지 않지요.

또 하나의 비교: 조각가 vs 안개 걷어내기

스켈모는 디퓨전(확산)이라는 방식으로 움직임을 만들어요. 이것도 비교로 이해해 볼까요?

옛날 방식이 돌을 깎아 조각상을 만드는 조각가라면, 디퓨전은 안개를 조금씩 걷어내는 것과 같아요. 처음에는 뿌연 안개처럼 아무렇게나 섞인 움직임에서 시작해요. 그리고 "조금 더 자연스럽게, 조금 더 동영상처럼" 하며 안개를 한 겹씩 걷어내요. 마지막에는 매끄럽고 자연스러운 동작이 나타나지요. 요즘 그림 그리는 인공지능들도 같은 원리를 써요.

정리하면

스켈모를 세 문장으로 정리할게요.

첫째, 기성복 방식(템플릿)은 빠르지만 정해진 몸에만 쓸 수 있었어요. 둘째, 맞춤 재단 방식(하나씩 최적화)은 어떤 몸에도 쓸 수 있지만 너무 느리고 실수가 많았어요. 셋째, 스켈모는 2만 개의 애니메이션을 공부하고 뼈마다 이름표를 붙여서, 빠르면서도 어떤 캐릭터든 움직이게 만들어요.

이 기술이 발전하면 어떻게 될까요? 여러분이 그린 상상 속 캐릭터도, 동영상 하나만 보여주면 바로 살아 움직이게 될 거예요. 게임과 영화 속 캐릭터를 만드는 일이 훨씬 쉽고 재미있어지겠지요?

출처

• SkelMo: Universal Skeletal Motion Generation for 3D Rigged Shapes