Kimodo от NVIDIA: бесплатная нейросеть для 3D-анимации по тексту
Kimodo — бесплатная open-source нейросеть NVIDIA: 3D-анимация персонажа по тексту без захвата движения. Отличия от Mixamo, GPU, UE 5.9 и ИИ-барабанщик в игре.
Когда делаешь игру с ИИ, модель персонажа сейчас получается быстро: в прошлой статье я превратил концепт-арт в 3D-модель через Tripo AI за несколько минут. Но после этого всегда начинается самое сложное — заставить её двигаться. В готовых паках анимаций есть только общие движения: ходьба, бег, прыжок, взмах мечом. Если нужен персонаж, который «сидит на диване и играет в портативную консоль» или «играет на барабанах под музыку», раньше было два варианта: двигать всё по кадру в программе для 3D-анимации или надевать костюм для захвата движения и записывать.
Kimodo, которую NVIDIA в этом году выложила бесплатно и в открытом доступе, решает как раз эту задачу: пишете одну фразу, и нейросеть генерирует 3D-анимацию персонажа — без захвата движения и без ручных ключевых кадров. В этой статье разберём, что такое Kimodo, чем она отличается от Mixamo, какой нужен компьютер, как обойтись без видеокарты, а в конце посмотрим, как японский инди-разработчик использует созданную нейросетью 3D-анимацию в настоящей игре.
Что такое Kimodo от NVIDIA?
Kimodo — открытая модель, которую NVIDIA Spatial Intelligence Lab представила в марте 2026 года. Полное название — Kinematic Motion Diffusion: она генерирует движения скелета человека или человекоподобного робота с помощью диффузионной модели. Обучена примерно на 700 часах данных оптического захвата движения, которые можно использовать в коммерческих целях. Веса модели лежат на Hugging Face, код — на GitHub, лицензия — NVIDIA Open Model License.
Проще говоря, это «анимация по тексту». Похоже на генерацию картинок нейросетью, только на выходе не изображение, а положение и поворот каждого сустава скелета в каждом кадре. Пишете «человек медленно идёт, садится, потом встаёт и потягивается» — и она генерирует данные скелета для этого движения. Их можно экспортировать в BVH или GLB и использовать в Blender, Unity или Unreal.
Анимация по тексту: что можно контролировать в Kimodo?
По одной фразе движение часто получается не совсем таким, как вы его себе представляли. Самое полезное в Kimodo — можно одновременно писать текст и добавлять ограничения:
- Текстовое описание: какое движение сделать. Можно писать частями и генерировать отрезок за отрезком.
- Ключевые кадры всего тела: задать позу целиком в определённом кадре, например чтобы последний кадр заканчивался в сидячей позе.
- Положение отдельных суставов: ограничить только некоторые суставы, остальное оставить модели.
- Положение рук и ног: например, рука должна коснуться определённой точки, а нога — стоять на земле.
- Маршрут по земле: задать несколько точек или путь, и персонаж пройдёт по нему.
Поддерживаются три скелета: собственное человеческое тело NVIDIA SOMA, робот Unitree G1 и популярный в исследованиях SMPL-X. Чтобы применить движение к своему персонажу на привычном для игр скелете (Mixamo, гуманоидный скелет движка или собственный скелет модели), нужен ещё один шаг — ретаргетинг, то есть перенос движения.
Kimodo, Mixamo и захват движения: в чём разница?
В 3D-анимации движения персонажей обычно берутся из трёх источников. Kimodo — третий:
Mixamo | Захват движения | Kimodo | |
|---|---|---|---|
Откуда движение | Выбираете из готовой библиотеки | Актёр записывает его в датчиках или перед камерами | Вводите текст и ограничения, ИИ генерирует |
Если нужно необычное движение | Нет в библиотеке — ничего не поделаешь | Можно, но нужны площадка, оборудование и актёры | Можно: если получается описать, можно пробовать |
Стоимость | Бесплатно (нужен аккаунт Adobe) | Самая высокая: оборудование или аренда студии | Бесплатно и open source, но нужна своя видеокарта или оплата облака |
Стабильность результата | Высокая, это записанные движения | Высокая, но данные нужно чистить | Непредсказуемая, часто приходится генерировать несколько раз и править вручную |
Mixamo хорош для общих движений — ходьбы, бега, прыжков, атак, — и к тому же умеет автоматически делать риггинг. Kimodo закрывает то, чего «нет в библиотеке, но записывать не стоит». Их можно использовать вместе: сначала делаете риггинг персонажа в Mixamo, потом экспортируете движение из Kimodo в облаке как FBX со скелетом Mixamo и сразу применяете.
Системные требования Kimodo: около 17 ГБ видеопамяти
В официальном описании Kimodo всё сказано прямо:
- Видеокарта: по факту обязательно NVIDIA. Больше всего тестировали на RTX 3090, RTX 4090 и A100.
- Видеопамять: если всё запускать на GPU, нужно около 17 ГБ, и большую часть съедает текстовый энкодер (Llama 3 8B от Meta). С
TEXT_ENCODER_DEVICE=cpuкодирование текста переезжает на CPU, и требования падают ниже 3 ГБ — просто чуть медленнее. - Система: разрабатывали и тестировали в основном на Linux, для Windows рекомендуют Docker.
- Окружение: Python 3.10 и выше, PyTorch 2.0 и выше.
- Аккаунт: нужен аккаунт Hugging Face и запрошенный доступ к
Meta-Llama-3-8B-Instructот Meta.
В моём ноутбуке только встроенная графика Intel, видеокарты NVIDIA нет, так что локально я её запустить не могу. Если у вас так же, смотрите облачный вариант в следующем разделе.
Если видеокарта NVIDIA есть, в комплекте идёт ещё и официальный интерфейс в браузере (kimodo_demo): сверху 3D-превью, снизу таймлайн. На таймлайн ставите текстовые описания и ограничения, справа выбираете модель, задаёте длительность и жмёте Generate.
Как пользоваться Kimodo: бесплатный плагин для UE 5.9, облако и Blender
1. Встроено в Unreal Engine 5.9: AnimGenOffline
В превью-версии Unreal Engine 5.9, которую Epic выпустила 9 ноября 2026 года, появился плагин AnimGenOffline: он генерирует анимацию с помощью ИИ прямо в Sequencer, и первая подключённая модель — как раз Kimodo. Расставляете ключевые позы на таймлайне, прокладываете путь, пишете описание — и плагин достраивает движение между ними.
Сейчас это самый удобный бесплатный способ, но всё равно нужна мощная видеокарта NVIDIA, а раз это превью, название и возможности плагина ещё могут поменяться.
2. Облако: Replicate
Если видеокарты нет, на Replicate есть версия Kimodo, выложенная сообществом (sprited/kimodo, не официальная от NVIDIA): вводите описание на веб-странице — и получаете движение. Экспортировать можно в GLB, BVH и даже в FBX со скелетом Mixamo. Если ваш персонаж и так на скелете Mixamo, это самый быстрый формат, чтобы применить движение. Replicate берёт плату за использованное время GPU, точную цену смотрите на странице.
3. Плагин анимации для Blender: Animatica
Animatica превращает модели из семейства Kimodo в плагины для Blender, MotionBuilder и 3ds Max, так что свой сервер поднимать не нужно. Я видел бесплатный тариф на 10 генераций в месяц, пакеты кредитов с оплатой за количество и годовой Pro. Тарифы меняются быстро, ориентируйтесь на официальный сайт.
Kimodo в настоящей игре: ИИ-персонаж играет на барабанах и басу под музыку
После характеристик лучше всего объясняет пример из настоящей игры. Японский инди-разработчик ShadeLurk (автор музыкальной игры «BEAT VISTA») недавно показал два видео: один персонаж играет на басу под песню, другой — на барабанах.
Судя по его постам, весь процесс поделён между четырьмя инструментами:
Шаг | Инструмент | Что делает |
|---|---|---|
1. Персонаж | Tripo | Генерирует 3D-модель персонажа |
2. Партия | Gemini 4 Carbon | Извлекает барабанную партию из аудио песни и решает, по какому барабану бить на каждой ноте |
3. Движение | Kimodo (AnimGenOffline в UE 5.9) + Fable 5.2 | Генерирует движения персонажа при игре на инструменте по партии |
4. Воспроизведение | Unity | Проигрывает движения по партии и вносит финальные правки |
Здесь стоит обратить внимание на несколько вещей:
Первое: движение генерируется в Unreal, а игра работает в Unity. Unreal тут просто «офлайн-генератор анимации»: после генерации движение переносится обратно в Unity. То есть даже если ваша игра сделана не на Unreal, плагин Kimodo из UE 5.9 всё равно можно использовать для движений.
Второе: он не останавливается на «вроде похоже», а измеряет каждый удар. Внизу видео в реальном времени показано, в скольких миллиметрах кончик палочки от пластика и в скольких сантиметрах от целевой точки, под каким углом колотушка бас-барабана и касается ли она пластика, а потом считается, сколько ударов по каждому барабану «попали». Во всей песне 644 удара, и каждый оценивается отдельно.
Третье: движение от ИИ — не готовый результат, его нужно править. В видео с басом рядом показаны «исходник от Kimodo» и «исправленная версия»:
Крупные движения от Kimodo (держать бас, двигаться в ритм, вести руку по грифу) уже выглядят естественно, но пальцы не попадают точно на нужную струну и лад. В Unity он отдельно подогнал кончики пальцев к нужным струнам и позициям на грифе, зафиксировал ноги и добавил покачивание корпуса.
Это ровно то ограничение, о котором пишут в официальном описании: Kimodo не видит объекты в сцене. Она не знает, где струны баса и на какой высоте стоит барабан, поэтому каждый раз, когда движение должно «чего-то коснуться», в конце нужна правка кодом или вручную.
Ограничения Kimodo
Если собрать вместе официальное описание и пример выше, перед использованием стоит знать вот что:
- Не всегда следует тексту: в NVIDIA сами пишут, что сгенерированное движение не всегда полностью соответствует описанию, часто приходится генерировать несколько раз и выбирать.
- Не видит сцену: какой высоты стул, где стол, что должна держать рука — она не знает. Сесть, взять предмет, сыграть на инструменте — всё это в итоге придётся править.
- Скелет нужно конвертировать: на выходе скелет SOMA, SMPL-X или G1, и чтобы применить его к своему персонажу, сначала нужен ретаргетинг.
- Порог входа — видеокарта: локально нужна NVIDIA, а без неё — облако.
Как я буду использовать Kimodo
Главная страница моего сайта — лунная база, где главный герой Terry может ходить, садиться на стул в мастерской, дремать на диване или взять со стола портативную консоль и поиграть в «Змейку». Все эти движения взяты из готовых паков анимаций: сесть и лечь там есть, а вот «держать консоль и играть, опустив голову» — нет, поэтому пока он просто сидит с консолью у груди. С RPG, которую я сейчас проектирую, то же самое: сюжету нужно гораздо больше движений, чем есть в паках.
Kimodo подходит как раз для таких движений, которых «нет в общих паках, а анимировать вручную не хочется». Я бы сначала генерировал их в облаке, экспортировал в Mixamo FBX и делал ретаргетинг на скелет персонажа, а там, где нужно чего-то касаться (рука на консоли, высота дивана), правил бы уже в игре, как делает ShadeLurk.
Итог: ИИ делает движение, а момент «касания» остаётся за человеком
Модель — Tripo AI, движение — Kimodo: теперь с обоими главными барьерами для того, кто делает 3D-игру в одиночку, может помочь ИИ. Но пример ShadeLurk хорошо показывает: анимация от нейросети отвечает за то, чтобы было «примерно правильно», а ощущение у игрока «он правда играет на барабанах» создают последние сантиметры правок. Эту часть по-прежнему решает и измеряет человек.
А вы уже пробовали генерировать движения персонажей с помощью ИИ? Найдите меня в Threads или X и напишите в комментариях под любым постом — поболтаем.
