Нейросеть для 3D-моделирования: Blender vs Tripo AI, 3D-модель по картинке

Я сейчас делаю 3D-RPG, и мне понадобился новый монстр: статуя. Она стоит в древних руинах, держит длинную каменную линейку, выглядит грозно, но пропорции у неё немного милые.

Весь процесс я отдал ИИ: сначала нарисовать концепт-арт, потом сделать по нему модель с помощью нейросети для 3D-моделирования и, наконец, отправить её в Godot. Первый шаг получился просто великолепно. Второй — хуже некуда. В этой статье я сравниваю два способа 3D-моделирования с ИИ: когда нейросеть пишет Blender-скрипт и строит модель с нуля, и когда Tripo AI превращает концепт-арт «из 2D в 3D». А в конце довожу модель до персонажа, который двигается в игре.

Шаг 1: концепт-арт в Codex с первой попытки

Концепт-арт я сделал через Codex CLI, который вызывает gpt-image. Дал ему референс — персонажа, который уже есть в игре, — и подробно описал монстра-статую:

• Рост около 2,2 метра, игрушечные пропорции: большая голова, короткие ноги
• Светло-серый выветренный камень, в трещинах немного мха
• Каменный капюшон, накидка с солнцем на груди и пояс с квадратной пряжкой
• Глаза — две узкие щели с синим свечением, единственный источник света на теле
• На одной картинке вид спереди, вид сбоку и статуя, неподвижно стоящая на постаменте

Получилось почти ровно то, что было у меня в голове: милые пропорции, достаточно деталей, и рядом с другими персонажами игры она смотрится органично. Пока всё шло гладко.

Шаг 2: модель Blender-скриптом от ИИ — и всё пошло не так

Дальше я попросил ИИ написать Python-скрипт для Blender, который «соберёт» модель по концепт-арту. Примерно так многие и представляют себе «нейросеть в Blender»: голова — куб со скосом, тело, руки и ноги — несколько кубов и цилиндров, и всё это расставляется по одному. Заодно он сделал скелет и анимации: стойку, ходьбу, атаку, смерть.

Технически он сделал всё. Модель двигается и экспортируется в GLB для Godot. Но стоит поставить её рядом с концепт-артом, и разница видна сразу:

• Похоже на кубики: округлый капюшон и массивные кулаки с концепт-арта превратились в набор склеенных коробок.
• Пропорции поехали: соотношение головы и тела, размер рук — всё не то, и пухлая милота концепт-арта пропала.
• Детали пропали: складки накидки, пряжку пояса, трещины в камне трудно сделать скриптом по одной, а если и получается, выглядят они деревянно.
• Нет материала: фактура камня, грязь и слои мха с концепт-арта превратились в одну ровную серую заливку.

Почему 3D-моделирование скриптами от ИИ не работает

Дело не в том, что ИИ недостаточно умный. Сам метод не подходит.

Моделировать скриптом — значит просить ИИ «описать текстом координаты и размеры каждой формы». Для угловатых вещей вроде столов, стен и колонн это отлично работает. Но персонаж — это сплошные изгибы и объём, его трудно разложить на несколько простых фигур. К тому же, пока ИИ пишет скрипт, он не видит, что у него получается. Остаётся только рендерить, сравнивать и исправлять, круг за кругом, и в какой-то момент каждый круг почти ничего не меняет.

Если коротко: концепт-арт «нарисован», а модель «собрана». Методы совершенно разные, так что неудивительно, что результаты не совпадают.

Решение: 3D-модель по картинке прямо из концепт-арта

Раз у меня уже есть концепт-арт, который мне нравится, логичнее сделать так: пусть инструмент посмотрит на картинку и сам сгенерирует по ней 3D-модель. Такие инструменты называют «3D-модель по картинке» или «из 2D в 3D» (image to 3D) — по сути, это генерация 3D-моделей нейросетью. На вход подойдёт фото (многие ищут именно «3д модель по фото»), рисунок от руки или концепт-арт от ИИ. Я выбрал Tripo AI (его ещё часто называют Tripo 3D).

Что умеет Tripo:

• 3D-модель по картинке: загружаете одно изображение или несколько ракурсов одного персонажа и получаете 3D-модель с текстурами.
• Автоматический риггинг: человекоподобным персонажам скелет можно назначить автоматически, а потом наложить анимации.
• Популярные форматы: экспорт в GLB, FBX, OBJ и другие, всё сразу открывается в Godot, Unity и Blender.
• Есть бесплатный тариф: можно сначала попробовать. Лимиты и цены уточняйте на официальном сайте.

Tripo AI в деле: превращаю концепт-арт монстра-статуи в 3D-модель

Я просто закинул в Tripo весь концепт-арт целиком, ничего не исправляя. Вот какой GLB я скачал:

Первая мысль: вот это тот самый монстр-статуя, который мне нужен. Ромб на капюшоне, солнце на груди, квадратная пряжка на поясе, кольцо шипов на запястьях, каменная линейка с делениями — всё на месте. Даже в трещинах немного мха, а глаза светятся синим. Если бы я делал каждую из этих деталей скриптом, я бы исправлял их до скончания веков.

И это не картинка, наклеенная на плоскость. Если повернуть модель, каждая из трёх статуй — полноценная объёмная фигура:

Если поставить три подхода рядом, разница очевидна:

Правда, сразу после скачивания отправить её в игру не получится. Я наткнулся на две вещи:

• Три статуи в одной модели: я загрузил весь лист с концептом — вид спереди, вид сбоку и версию на постаменте. Tripo добросовестно сделал все три и объединил их в одну модель. В игре нужна только одна, так что в следующий раз я сначала вырежу вид спереди или воспользуюсь мультиракурсной загрузкой, где вид спереди и сбоку — это разные ракурсы одного персонажа.
• Слишком много полигонов: в файле 1,87 млн треугольников и 64 МБ, для игры это слишком тяжело. У игровых персонажей обычно всего несколько тысяч полигонов, так что перед импортом в игру полигонаж обязательно нужно снижать.

Готовим модель для игры: пусть Blender-скрипт делает то, что умеет

Тогда я обрезал концепт-арт до одной статуи в фас и снова прогнал его через Tripo. На этот раз получился один монстр-статуя, но полигонов всё равно было очень много: около 1,9 млн треугольников, три текстуры 4K, почти 70 МБ — и никакого скелета.

Я использовал HD Model в Tripo Studio с ИИ-моделью H3.1 (Best Quality), с такими настройками одна генерация стоит 40 кредитов. Детализация действительно отличная, но такой полигонаж нужен для рендера, а не для игры.

Забавно, что дальнейшая доводка модели снова вернула меня к Blender-скриптам. Красивую форму скрипт вылепить не может, а вот работа по чётким правилам — «выровнять, снизить полигонаж, раскрасить, заригать, сделать анимации» — это как раз его сильная сторона. Вот что сделал скрипт:

• Выровнять: единое направление взгляда, ступни ровно на земле, рост приведён к фиксированной величине.
• Отделить линейку: длинное тонкое оружие сначала отрезается от тела и заново собирается в чистый брусок (вместе с делениями), привязанный к своей кости, — чтобы при взмахе оно не тянуло за собой ноги.
• Пересобрать оболочку и снизить полигонаж: в сетке от Tripo есть дыры, а детали слиплись друг с другом, так что при прямом упрощении она рвётся. Скрипт сначала оборачивает модель замкнутой оболочкой, а потом снижает полигонаж примерно до 16 000 треугольников.
• Раскрасить: цвета берутся из исходных текстур и сводятся к 6 цветовым блокам; для глаз отдельный светящийся материал.
• Скелет и анимации: 15 костей, анимации стойки, ходьбы, атаки, сильной атаки, получения урона и смерти.

Итоговый файл весит меньше 1 МБ, полигонов примерно в сто раз меньше, чем в исходнике, а это всё тот же монстр-статуя с концепт-арта:

По сравнению с кубической версией, которую скрипт собрал с нуля в начале, вот этого монстра уже можно отправлять в игру.

Мой процесс 3D-моделирования с нейросетью сейчас

1. Концепт-арт: Codex вызывает gpt-image, в качестве референса по стилю — персонаж, который уже есть в игре.
2. Генерация модели: обрезаю концепт-арт до одного персонажа, загружаю в Tripo и получаю модель с текстурами.
3. Доводка: Blender-скриптом пересобираю оболочку, снижаю полигонаж и свожу цвета к блокам, чтобы модель не выбивалась из остальных персонажей игры.
4. Скелет и анимации: тот же скрипт ставит скелет и делает анимации стойки, ходьбы, атаки и так далее.
5. В Godot: экспорт в GLB и импорт в игру.

Три способа 3D-моделирования с ИИ: что выбрать

Мой вывод: персонажей генерировать по картинке и доводить скриптом; угловатый реквизит делать скриптом; типовые вещи просто покупать готовыми. Сочетать все три способа гораздо проще, чем пытаться всё сделать одним.

Если у вас тоже есть игра или 3D-проект, который застрял на этапе моделирования, найдите меня в Threads или X и напишите в комментариях под любым постом — поболтаем.

— Terry L