Modélisation 3D IA : Blender vs Tripo AI, de l'image en 3D au jeu
Modélisation 3D IA testée sur un monstre de RPG : un script Blender écrit par l'IA contre Tripo AI, qui passe une image en 3D, jusqu'au personnage animé.
En ce moment, je développe un RPG en 3D et j'avais besoin d'un nouveau monstre : une statue des ruines. Une statue de pierre qui tient une longue règle en pierre, l'air féroce, mais avec des proportions un peu mignonnes.
J'ai confié tout le processus à l'IA : d'abord le concept art, puis la modélisation 3D par IA, et enfin l'intégration dans Godot. Résultat : la première étape était superbe, la deuxième catastrophique. Dans cet article, je compare deux façons de modéliser avec l'IA : faire écrire à l'IA un script Blender qui construit le modèle à partir de zéro, et utiliser Tripo AI pour passer le concept art « de la 2D à la 3D ». Ensuite, je transforme le modèle en personnage animé utilisable dans le jeu.
Étape 1 : le concept art avec Codex, réussi du premier coup
Le concept art a été dessiné par gpt-image, appelé depuis Codex CLI. Je lui ai donné une image de référence d'un personnage existant du jeu, puis j'ai décrit clairement la statue :
- Environ 2,2 mètres de haut, des proportions de jouet avec une grosse tête et des jambes courtes
- De la pierre gris clair érodée, avec un peu de mousse dans les fissures
- Une capuche taillée dans la pierre, une tunique avec un soleil sur la poitrine, une ceinture à boucle carrée
- Les yeux sont deux fentes qui brillent en bleu, la seule lumière sur son corps
- Sur la même image : la vue de face, la vue de profil et la statue immobile sur un socle
L'image obtenue correspondait presque exactement à ce que j'avais en tête : des proportions mignonnes, assez de détails, et elle ne détonne pas à côté des autres personnages du jeu. Jusque-là, tout allait bien.
Étape 2 : faire modéliser l'IA avec un script Blender, et ça déraille
Ensuite, j'ai demandé à l'IA d'écrire un script Python pour Blender qui « assemble » le modèle d'après le concept art. C'est ce que beaucoup imaginent quand on parle de « Blender IA » : la tête est un cube avec un biseau, le corps, les bras et les jambes sont quelques cubes et cylindres, placés un par un. Au passage, je lui ai aussi fait faire le squelette et les animations : attente, marche, attaque, mort, etc.
Techniquement, il a tout fait. Le modèle bouge et s'exporte en GLB pour Godot. Mais dès qu'on le met à côté du concept art, l'écart saute aux yeux :
- Une forme en blocs : la capuche arrondie et les gros poings du concept art deviennent des cubes collés les uns aux autres.
- Des proportions fausses : le rapport entre la tête et le corps, la taille des mains, rien ne va. On perd le côté rondouillard et mignon du concept art.
- Les détails ont disparu : les plis de la tunique, la boucle de la ceinture, les fissures dans la pierre sont très difficiles à faire un par un en script, et même quand c'est fait, ça reste raide.
- Pas de matière : la texture de la pierre, les salissures et les couches de mousse du concept art deviennent un gris tout plat.
Pourquoi la modélisation par script IA échoue
Le problème n'est pas que l'IA manque d'intelligence. C'est la méthode elle-même qui ne convient pas.
Modéliser par script, c'est demander à l'IA de « décrire en texte les coordonnées et la taille de chaque forme ». Ça marche très bien pour des objets bien carrés comme des tables, des murs ou des colonnes. Mais un personnage, c'est un volume plein de courbes et d'épaisseurs, difficile à découper en quelques formes de base. En plus, quand l'IA écrit le script, elle ne voit pas ce qu'elle a produit. Elle doit faire un rendu, comparer, corriger, tour après tour, et à la fin chaque tour n'apporte presque plus rien.
Au fond, le concept art est « dessiné », alors que le modèle est « assemblé ». Les deux utilisent des méthodes complètement différentes, donc forcément, le résultat ne correspond pas.
La solution : transformer une image en modèle 3D
Puisque j'avais déjà un concept art qui me plaisait, le plus direct était de laisser un outil regarder cette image et générer directement le modèle 3D. Ce type d'outil s'appelle « image en 3D » ou « 2D en 3D » (image to 3D) : un modèle 3D généré par IA. Une photo, un croquis à la main ou un concept art fait par IA peuvent servir d'entrée. J'ai choisi Tripo AI (souvent appelé aussi Tripo 3D).
Ce que Tripo sait faire :
- Image en 3D : on importe une image, ou plusieurs angles du même personnage, et il génère un modèle 3D texturé.
- Squelette automatique : les personnages humanoïdes peuvent être riggés automatiquement, puis recevoir des animations.
- Formats courants : export en GLB, FBX, OBJ, etc., utilisables directement dans Godot, Unity ou Blender.
- Offre gratuite : on peut essayer d'abord. Pour les crédits et les prix, référez-vous au site officiel.
Test de Tripo AI : transformer le concept art de la statue en modèle 3D
J'ai mis le concept art entier dans Tripo, sans rien retoucher. Voici le GLB téléchargé :
Ma première réaction : ça, c'est la statue que je voulais. Le losange sur la capuche, le soleil sur la poitrine, la ceinture à boucle carrée, l'anneau de pointes autour des poignets, la règle en pierre avec ses graduations, tout y est. Il y a même un peu de mousse dans les fissures, et les yeux brillent en bleu. Faire tous ces détails un par un en script, j'y serais encore.
Et ce n'est pas une image collée sur une planche. Sous un autre angle, chacune est un volume complet :
En mettant les trois approches côte à côte, la différence est évidente :
Mais il ne suffit pas de télécharger le modèle pour le mettre dans le jeu. Je suis tombé sur deux problèmes :
- Trois statues dans un seul modèle : j'avais importé toute la planche de concept, avec la vue de face, la vue de profil et la version immobile sur le socle. Tripo a sagement fait les trois, fusionnées en un seul modèle. Dans le jeu, il n'en faut qu'une. La prochaine fois, il faut d'abord recadrer la vue de face avant l'import, ou utiliser le mode multivue pour traiter la face et le profil comme deux angles du même personnage.
- Beaucoup trop de polygones : ce fichier fait 1,87 million de triangles et 64 Mo, bien trop lourd pour un jeu. Un personnage de jeu fait en général quelques milliers de faces, donc il faut absolument réduire le maillage avant.
En faire un modèle utilisable en jeu : laisser le script Blender faire ce qu'il sait faire
J'ai ensuite recadré le concept art pour ne garder que la statue de face, et je l'ai remis dans Tripo. Cette fois, j'ai obtenu une seule statue, mais toujours avec beaucoup de polygones : environ 1,9 million de triangles, trois textures 4K, près de 70 Mo, et pas de squelette.
J'ai utilisé le HD Model de Tripo Studio, avec le modèle IA H3.1 (Best Quality). Avec ces réglages, une génération coûte 40 crédits. Les détails sont vraiment là, mais ce nombre de polygones est fait pour le rendu, pas pour le jeu.
Ce qui est amusant, c'est que le travail de nettoyage qui suit revient au script Blender. Un script ne sait pas sculpter une belle forme, mais « redresser, réduire, colorer, rigger, animer », ce genre de travail qui suit des règles, c'est exactement son point fort. Voici ce que fait ce script :
- Redresser : même orientation, les pieds posés au sol, la hauteur ramenée à une unité fixe.
- Séparer la règle : l'arme longue et fine est d'abord détachée du corps, puis refaite en une barre propre (graduations comprises), attachée à son propre os, pour qu'elle n'entraîne pas les jambes quand elle bouge.
- Reconstruire la coque, puis réduire : le maillage de Tripo a des trous et des pièces collées entre elles, le réduire directement le déchire. Le script crée d'abord une coque fermée autour, puis descend à environ 16 000 triangles.
- Colorer : il prend les couleurs de la texture d'origine et les regroupe en 6 aplats. Les yeux ont un matériau lumineux à part.
- Squelette et animations : 15 os, avec les animations attente, marche, attaque, coup puissant, touché et mort.
Le fichier final fait moins de 1 Mo, environ un centième des polygones d'origine, mais c'est toujours la statue du concept art :
Comparé à la version en blocs assemblée par script au début, ça, c'est un monstre qu'on peut mettre dans un jeu.
Mon processus actuel de modélisation 3D par IA
- Concept art : gpt-image via Codex, avec un personnage existant du jeu comme référence de style.
- Générer le modèle : recadrer le concept art sur un seul personnage, le mettre dans Tripo et générer un modèle texturé.
- Nettoyer : avec un script Blender, reconstruire la coque, réduire le maillage, regrouper les couleurs en aplats, pour qu'il ne détonne pas à côté des autres personnages du jeu.
- Squelette et animations : le même script rigge le modèle et crée les animations attente, marche, attaque, etc.
- Dans Godot : export en GLB, import dans le jeu.
Modélisation 3D IA : quelle approche choisir
Approche | Idéale pour | Inconvénients |
|---|---|---|
Script Blender écrit par l'IA | Les accessoires bien carrés, et le nettoyage comme la réduction ou le rigging | Très difficile de bien faire un personnage ou une forme organique à partir de zéro |
Image en 3D (Tripo) | Quand on a déjà un concept art qui plaît et qu'on veut un personnage vite | Beaucoup de polygones à réduire, l'image importée ne doit idéalement contenir qu'un seul personnage |
Acheter des assets | Les personnages, monstres et accessoires courants | Impossible de trouver un personnage qui colle exactement à son univers |
Ma conclusion : les personnages, je les génère en 3D à partir d'une image, puis je les nettoie par script ; les accessoires carrés, je les fais par script ; les objets courants, je les achète. Mélanger les trois est bien plus simple que de s'acharner sur une seule méthode.
Si vous aussi vous avez un jeu ou une création 3D bloqué à l'étape de la modélisation, venez en discuter avec moi en commentaire sous mes posts sur Threads ou X.
— Terry L