Kimodo란? NVIDIA 무료 AI 3D 애니메이션 생성, 글로 동작 만들기
Kimodo는 NVIDIA의 무료 오픈소스 AI 애니메이션 생성 모델입니다. 텍스트로 3D 캐릭터 동작을 만듭니다. Mixamo·모션 캡처와의 차이, 노래에 맞춰 드럼 치는 실제 사례까지.
AI로 게임을 만들 때 캐릭터 모델은 이제 꽤 빨리 나옵니다. 지난 글에서는 Tripo AI로 콘셉트 아트를 3D 모델로 바꿨는데, 몇 분이면 끝났죠. 그런데 모델을 만든 다음 그걸 움직이게 하는 일이 늘 가장 막히는 부분이었습니다. 기성 동작 팩에는 걷기, 달리기, 점프, 칼 휘두르기 같은 범용 동작뿐입니다. 캐릭터가 '소파에 앉아 휴대용 게임기를 하는' 동작이나 '노래에 맞춰 드럼을 치는' 동작을 원하면, 예전에는 3D 애니메이션 프로그램에서 한 프레임씩 직접 잡거나 모션 캡처 슈트를 입고 녹화하는 수밖에 없었습니다.
NVIDIA가 올해 무료로 공개한 오픈소스 Kimodo가 바로 이 문제를 풀려고 나왔습니다. 설명을 한 문장 입력하면 3D 캐릭터 동작을 바로 생성해 줍니다. 모션 캡처도, 키프레임 수작업도 필요 없습니다. 이 글에서는 Kimodo가 무엇인지, Mixamo와 뭐가 다른지, 컴퓨터 사양은 얼마나 필요한지, 그래픽카드가 없으면 어떻게 쓰는지 정리하고, 마지막으로 일본의 한 인디 게임 개발자가 이런 AI 3D 애니메이션 생성을 실제 게임에 어떻게 쓰는지 살펴봅니다.
Kimodo란? NVIDIA의 AI 애니메이션 생성 모델
Kimodo는 NVIDIA Spatial Intelligence Lab이 2026년 3월에 발표한 오픈소스 모델로, 정식 이름은 Kinematic Motion Diffusion입니다. 확산 모델로 사람이나 휴머노이드 로봇의 뼈대 동작을 생성합니다. 상업적으로 쓸 수 있는 광학식 모션 캡처 데이터 약 700시간으로 학습했고, 모델 가중치는 Hugging Face에, 코드는 GitHub에 있으며, 라이선스는 NVIDIA Open Model License입니다.
쉽게 말해 '텍스트로 애니메이션 생성'입니다. AI 이미지 생성과 비슷한데, 나오는 게 그림 한 장이 아니라 프레임마다 뼈대 관절의 위치와 각도라는 점이 다릅니다. "한 사람이 천천히 걸어가서 앉았다가, 다시 일어나 기지개를 켠다"라고 쓰면 그 동작의 뼈대 데이터를 생성합니다. BVH나 GLB로 내보낼 수 있어서 Blender, Unity, Unreal에서 쓸 수 있습니다.
텍스트로 AI 애니메이션 생성: Kimodo로 제어할 수 있는 것
문장 하나만으로는 생성된 동작이 생각과 다를 때가 많습니다. Kimodo가 실용적인 이유는 텍스트를 쓰면서 제약 조건도 함께 걸 수 있다는 점입니다.
- 텍스트 설명: 어떤 동작을 할지. 나눠서 쓰면 한 구간씩 이어서 생성합니다.
- 전신 키프레임: 특정 프레임의 전체 자세를 지정합니다. 예를 들어 마지막 프레임은 앉은 자세로 멈추게 하는 식입니다.
- 특정 관절의 위치: 몇몇 관절만 지정하고 나머지는 모델에 맡깁니다.
- 손발의 위치: 손이 어떤 지점에 닿게 하거나, 발이 땅을 딛게 합니다.
- 바닥 위의 경로: 지나갈 지점 몇 개나 경로 하나를 주면 캐릭터가 그걸 따라 걷습니다.
지원하는 뼈대는 세 가지입니다. NVIDIA 자체의 SOMA 인체, Unitree G1 휴머노이드 로봇, 그리고 연구에서 많이 쓰는 SMPL-X입니다. 게임에서 흔히 쓰는 뼈대(Mixamo, 각 엔진의 휴머노이드 뼈대, 모델 자체의 뼈대)에 쓰려면 리타게팅(retarget)을 한 번 더 해서 내 캐릭터에 맞춰야 합니다.
Kimodo와 Mixamo, 모션 캡처는 뭐가 다를까?
3D 애니메이션을 만들 때 캐릭터 동작은 보통 세 군데서 나오는데, Kimodo는 세 번째입니다.
Mixamo | 모션 캡처 | Kimodo | |
|---|---|---|---|
동작은 어디서 오나 | 기성 동작 라이브러리에서 고른다 | 사람이 센서를 달거나 카메라 앞에서 녹화한다 | 텍스트와 제약 조건을 넣으면 AI가 생성한다 |
특별한 동작이 필요할 때 | 라이브러리에 없으면 방법이 없다 | 가능하지만 장소, 장비, 배우가 필요하다 | 가능하다. 글로 쓸 수 있으면 시도해 볼 수 있다 |
비용 | 무료(Adobe 계정 필요) | 장비나 스튜디오 대여 비용이 가장 크다 | 오픈소스라 무료지만, 내 그래픽카드나 클라우드 비용이 든다 |
결과물의 안정성 | 높다. 이미 녹화된 동작이다 | 높지만 데이터 정리가 필요하다 | 들쭉날쭉하다. 여러 번 생성하고 손으로 고쳐야 할 때가 많다 |
Mixamo는 걷기, 달리기, 점프, 공격 같은 범용 동작에 맞고, 자동 리깅도 됩니다. Kimodo가 채워 주는 건 '라이브러리에는 없고, 따로 녹화할 정도는 아닌' 동작들입니다. 둘을 같이 써도 됩니다. 캐릭터는 먼저 Mixamo에서 리깅해 두고, Kimodo로 생성한 동작을 클라우드에서 Mixamo 뼈대 FBX로 내보내면 바로 입힐 수 있습니다.
Kimodo 사양: 그래픽카드 메모리 약 17GB
Kimodo 공식 설명은 아주 솔직하게 적혀 있습니다.
- 그래픽카드: 사실상 NVIDIA 필수. 가장 많이 테스트된 건 RTX 3090, RTX 4090, A100입니다.
- 그래픽카드 메모리: 전부 GPU에서 돌리면 약 17GB가 필요한데, 대부분 텍스트 인코더(Meta의 Llama 3 8B)가 씁니다.
TEXT_ENCODER_DEVICE=cpu로 텍스트 인코딩을 CPU로 돌리면 3GB 이하로 줄일 수 있고, 대신 조금 느려집니다. - 운영체제: 주로 Linux에서 개발하고 테스트했으며, Windows에서는 Docker를 권장합니다.
- 환경: Python 3.10 이상, PyTorch 2.0 이상.
- 계정: Hugging Face 계정이 있어야 하고, Meta
Meta-Llama-3-8B-Instruct사용 권한을 신청해야 합니다.
제 노트북은 Intel 내장 그래픽뿐이고 NVIDIA 그래픽카드가 없어서 로컬에서는 돌릴 수 없습니다. 여러분도 같은 상황이라면 다음 섹션의 클라우드 방법을 보세요.
NVIDIA 그래픽카드가 있다면 브라우저에서 조작하는 공식 인터페이스(kimodo_demo)도 있습니다. 위쪽은 3D 미리보기, 아래쪽은 타임라인이고, 타임라인에 텍스트 설명과 여러 제약 조건을 놓은 뒤 오른쪽에서 모델을 고르고 길이를 정해 Generate를 누르면 됩니다.
Kimodo 사용법: 무료 UE 5.9 플러그인, 클라우드, 블렌더 세 가지
1. Unreal Engine 5.9 내장: AnimGenOffline
Epic이 2026년 11월 9일에 공개한 Unreal Engine 5.9 프리뷰 버전에 AnimGenOffline이라는 플러그인이 새로 들어갔습니다. Sequencer 안에서 바로 AI로 애니메이션을 생성할 수 있고, 처음 연결된 모델이 바로 Kimodo입니다. 타임라인에 키 포즈를 놓고, 경로를 긋고, 설명을 쓰면 그 사이 동작을 채워 줍니다.
지금으로서는 가장 손이 덜 가는 무료 방법이지만, 역시 성능 좋은 NVIDIA 그래픽카드가 필요하고, 아직 프리뷰 버전이라 플러그인 이름과 기능은 나중에 바뀔 수 있습니다.
2. 클라우드: Replicate
그래픽카드가 없다면 Replicate에 커뮤니티가 배포한 Kimodo(sprited/kimodo, NVIDIA 공식 아님)가 있습니다. 웹페이지에서 설명을 입력하면 생성되고, GLB, BVH는 물론 Mixamo 뼈대 FBX로도 내보낼 수 있습니다. 캐릭터가 원래 Mixamo 뼈대라면 가장 빨리 입힐 수 있는 형식입니다. Replicate는 사용한 GPU 시간만큼 과금되니, 실제 가격은 페이지에서 확인하세요.
3. 블렌더 애니메이션 플러그인: Animatica
Animatica는 Kimodo 계열 모델을 Blender, MotionBuilder, 3ds Max 플러그인으로 만든 것이라 서버를 직접 띄울 필요가 없습니다. 제가 봤을 때는 월 10회 무료 버전, 횟수로 사는 크레딧 팩, 연간 결제 Pro 버전이 있었습니다. 요금제는 자주 바뀌니 공식 사이트에서 확인하세요.
Kimodo 실제 사례: AI 캐릭터가 노래에 맞춰 드럼과 베이스 연주
사양을 봤으니, 이제 실제 게임에 쓴 사례를 보는 게 가장 좋겠죠. 일본의 인디 게임 개발자 ShadeLurk(리듬 게임 『BEAT VISTA』 제작자)가 최근 영상 두 개를 공유했습니다. 하나는 캐릭터가 노래에 맞춰 베이스를 치는 영상이고, 다른 하나는 노래에 맞춰 드럼을 치는 영상입니다.
그의 게시물 설명을 보면, 전체 흐름은 네 가지 도구가 나눠 맡습니다.
단계 | 도구 | 하는 일 |
|---|---|---|
1. 캐릭터 | Tripo | 3D 캐릭터 모델 생성 |
2. 악보 | Gemini 4 Carbon | 노래 음원에서 드럼 악보를 뽑고, 매 타격마다 어느 드럼을 칠지 판단 |
3. 동작 | Kimodo(UE 5.9의 AnimGenOffline) + Fable 5.2 | 악보에 맞춰 연주 동작 생성 |
4. 재생 | Unity | 악보대로 동작을 재생하고 마지막 수정 |
특히 눈여겨볼 점이 몇 가지 있습니다.
첫째, 동작은 Unreal에서 생성하고, 게임은 Unity에서 돌아갑니다. 여기서 Unreal은 '오프라인 애니메이션 생성기'일 뿐이고, 생성이 끝나면 동작을 Unity로 가져옵니다. 다시 말해 게임을 Unreal로 만들지 않아도 UE 5.9의 Kimodo 플러그인으로 동작을 만들 수 있다는 뜻입니다.
둘째, '그럴듯해 보이면' 끝이 아니라, 한 번 칠 때마다 잽니다. 영상 아래에는 스틱 끝이 드럼 면에서 몇 mm, 목표 지점에서 몇 cm 떨어졌는지, 베이스 드럼 비터가 몇 도이고 드럼 헤드에 닿았는지가 실시간으로 나오고, 드럼마다 '몇 번 맞게 쳤는지'를 집계합니다. 곡 전체 644번을 하나하나 판정합니다.
셋째, AI가 생성한 동작은 완성품이 아니라 고쳐야 합니다. 베이스 영상은 'Kimodo가 생성한 그대로'와 '수정 후'를 나란히 놓고 비교합니다.
Kimodo가 생성한 큰 동작(베이스를 안고, 몸으로 리듬을 타고, 손이 지판 위를 오가는 것)은 이미 꽤 자연스럽습니다. 하지만 손가락이 정확한 줄과 위치를 딱 짚지는 못합니다. 그는 Unity에서 손끝을 올바른 줄 위치에 맞추고, 발을 고정하고, 몸의 흔들림을 더했습니다.
이게 바로 공식 문서에 적힌 한계입니다. Kimodo는 장면 속 물체를 볼 수 없습니다. 베이스 줄이 어디 있는지, 드럼이 얼마나 높이 있는지 모르니, '무언가에 닿아야 하는' 동작은 결국 코드나 손으로 고쳐야 합니다.
Kimodo의 한계
공식 설명과 위 사례를 정리하면, 쓰기 전에 알아 둘 점은 이렇습니다.
- 텍스트대로 나온다는 보장이 없다: 공식 문서에도 생성된 동작이 설명과 완전히 맞지 않을 수 있다고 적혀 있고, 여러 번 생성해서 고를 때가 많습니다.
- 장면을 못 본다: 의자 높이, 책상 위치, 손에 뭘 쥘지 전혀 모릅니다. 앉기, 물건 집기, 악기 연주 같은 동작은 결국 손봐야 합니다.
- 뼈대 변환이 필요하다: 출력은 SOMA, SMPL-X, G1 뼈대라서 내 캐릭터에 쓰려면 먼저 리타게팅해야 합니다.
- 문턱은 그래픽카드: 로컬에서 돌리려면 NVIDIA 그래픽카드가 필요하고, 없으면 클라우드를 써야 합니다.
저라면 Kimodo를 이렇게 씁니다
제 웹사이트 첫 화면은 달 기지인데, 주인공 Terry가 돌아다니고, 작업실 의자에 앉고, 소파에 누워 졸고, 책상 위 휴대용 게임기를 집어 스네이크 게임을 할 수도 있습니다. 이 동작들은 모두 기성 동작 팩에서 가져왔습니다. 앉기, 눕기는 있지만 '게임기를 들고 고개 숙여 하는' 동작은 없어서, 지금은 앉은 자세로 게임기를 가슴 앞에 들고 있게만 해 뒀습니다. 지금 설계 중인 RPG도 마찬가지로, 스토리에 필요한 동작이 동작 팩보다 훨씬 많습니다.
Kimodo가 채우기 좋은 게 바로 이런 '범용 동작 팩엔 없고, 직접 잡기는 귀찮은' 동작입니다. 저는 먼저 클라우드에서 생성해 Mixamo FBX로 내보내고, 캐릭터 자체 뼈대에 리타게팅할 생각입니다. 무언가에 닿아야 하는 부분(손에 게임기를 쥐는 것, 소파에 앉는 높이)은 ShadeLurk처럼 게임 안에서 다시 고치겠습니다.
마치며: AI 애니메이션은 동작을 채우고, '닿는 순간'은 사람이 맡는다
모델은 Tripo AI, 동작은 Kimodo. 혼자 3D 게임을 만들 때의 큰 문턱 두 개를 이제 둘 다 AI가 도와줄 수 있게 됐습니다. 하지만 ShadeLurk의 사례에서도 보이듯, AI가 생성한 동작이 맡는 건 '대충 맞는' 데까지입니다. 플레이어가 '정말 드럼을 치고 있네'라고 느끼게 만드는 건 마지막 몇 cm의 수정입니다. 그 부분은 여전히 사람이 정하고, 사람이 재야 합니다.
여러분도 AI로 캐릭터 동작을 생성해 본 적이 있나요? Threads나 X에서 제 게시물에 편하게 댓글 남겨 주세요.
