Modellazione 3D con AI: script Blender vs Tripo AI, da immagine a 3D
Modellazione 3D con AI messa alla prova: uno script Blender scritto dall'AI contro Tripo AI, che trasforma un'immagine in 3D. Dal concept a un mostro animato.
Sto sviluppando un RPG in 3D e mi serviva un nuovo mostro: la statua. È una statua di pietra che vive tra le rovine, con in mano una lunga riga di pietra. Ha un'aria minacciosa, ma le proporzioni sono un po' tenere.
Ho affidato tutto il processo all'AI: prima il concept, poi la modellazione 3D con AI, infine l'import in Godot. Il primo passo è venuto benissimo, il secondo è stato un disastro. In questo articolo confronto due modi di modellare con l'AI: far scrivere all'AI uno script Blender che costruisce il modello da zero, oppure usare Tripo AI per trasformare il concept da immagine in 3D (il classico "2D in 3D"). Alla fine sistemo il modello fino a farlo diventare un personaggio animato nel gioco.
Primo passo: il concept con Codex, al primo colpo
Il concept l'ho fatto con Codex CLI, che chiama gpt-image. Gli ho dato un'immagine di riferimento di un personaggio già presente nel gioco e ho descritto la statua per bene:
- Alta circa 2,2 metri, con proporzioni da giocattolo: testa grande e gambe corte
- Pietra grigio chiaro consumata dal tempo, con un po' di muschio nelle crepe
- Un cappuccio scolpito nella pietra, una tunica con un sole sul petto e una cintura con fibbia quadrata
- Gli occhi sono due fessure sottili che brillano di blu: l'unica luce che ha addosso
- Nella stessa immagine: vista frontale, vista laterale e la statua immobile sul piedistallo
Il risultato era praticamente quello che avevo in testa: proporzioni simpatiche, dettagli a sufficienza, e accanto agli altri personaggi del gioco non stonava per niente. Fin qui tutto liscio.
Secondo passo: far modellare all'AI con uno script Blender, ed è andata storta
Poi ho chiesto all'AI di scrivere uno script Python per Blender che "montasse" il modello seguendo il concept. È quello che molti immaginano quando sentono "Blender AI": la testa è un cubo con qualche smusso, corpo, braccia e gambe sono cubi e cilindri, piazzati uno alla volta. Già che c'era, gli ho fatto fare anche lo scheletro e le animazioni: idle, camminata, attacco, caduta e così via.
Tecnicamente ha fatto tutto. Il modello si muove e si può esportare in GLB per Godot. Ma basta metterlo accanto al concept e la differenza salta all'occhio:
- Sembra fatto di mattoncini: il cappuccio arrotondato e i pugni massicci del concept sono diventati un mucchio di cubi incastrati.
- Proporzioni sballate: il rapporto tra testa e corpo e la dimensione delle mani sono sbagliati. Manca quell'aria paffuta e tenera del concept.
- Spariti i dettagli: le pieghe della tunica, la fibbia della cintura, le crepe nella pietra. Con uno script è difficile farli uno per uno, e anche quando ci riesci vengono rigidi.
- Niente materiali: la texture della pietra, lo sporco, il muschio a strati del concept. Sul modello resta solo un grigio piatto.
Perché la modellazione via script con l'AI fallisce
Il problema non è che l'AI non sia abbastanza intelligente. È il metodo a non funzionare.
Modellare con uno script vuol dire chiedere all'AI di "descrivere a parole coordinate e dimensioni di ogni forma". Per tavoli, muri e colonne, cose squadrate, funziona benissimo. Ma un personaggio è un insieme di forme curve e piene, difficile da scomporre in poche primitive. In più, mentre scrive lo script, l'AI non vede cosa sta costruendo. Può solo renderizzare, confrontare e correggere, un giro dopo l'altro, e a un certo punto ogni giro migliora pochissimo.
In fondo il concept è "disegnato", mentre il modello viene "montato". Sono due metodi completamente diversi, ed è normale che i risultati non combacino.
La soluzione: trasformare un'immagine in un modello 3D
Visto che avevo già un concept che mi piaceva tanto, la strada più diretta era: far guardare l'immagine a uno strumento e fargli generare il modello 3D. Questi strumenti si cercano come "immagine in 3D" o "da 2D a 3D" (image to 3D): in pratica generano modelli 3D con l'AI. Come input vanno bene foto, disegni a mano o concept fatti dall'AI. Io ho scelto Tripo AI (spesso chiamato anche Tripo 3D).
Cosa sa fare Tripo:
- Da immagine a 3D: carichi un'immagine, o più angolazioni dello stesso personaggio, e ottieni un modello 3D con texture.
- Rigging automatico: i personaggi umanoidi possono avere lo scheletro in automatico, poi ci applichi le animazioni.
- Formati comuni: esporta in GLB, FBX, OBJ e altri formati, pronti per Godot, Unity e Blender.
- Piano gratuito: puoi provarlo prima. Per crediti e prezzi fa fede il sito ufficiale.
Tripo AI alla prova: il concept della statua trasformato in modello 3D
Ho caricato il concept su Tripo così com'era, senza ritoccare niente. Il GLB scaricato era questo:
La prima impressione: questa sì che è la mia statua. I rombi sul cappuccio, il sole sul petto, la cintura con la fibbia quadrata, l'anello di spuntoni sui polsi, la riga di pietra con le tacche incise: c'è tutto. Nelle crepe c'è perfino un po' di muschio, e gli occhi brillano di blu. Fare tutti questi dettagli uno per uno con uno script mi avrebbe tenuto occupato fino alla fine dei tempi.
E non è un'immagine incollata su un pannello. Girandola, ogni statua ha un volume completo:
Messi a confronto, la differenza tra i tre metodi è evidente:
Però non è che una volta scaricato lo metti nel gioco e via. Ho avuto due intoppi:
- Tre statue in un solo modello: avevo caricato l'intera tavola, con vista frontale, laterale e versione sul piedistallo, e Tripo le ha fatte diligentemente tutte e tre, unite in un unico modello. Nel gioco me ne serve una sola. La prossima volta conviene ritagliare prima la vista frontale, oppure usare la modalità multi-vista, con frontale e laterale come angolazioni diverse dello stesso personaggio.
- Troppi poligoni: il file aveva 1,87 milioni di triangoli e pesava 64 MB, troppo per un gioco. Un personaggio in gioco di solito ne ha qualche migliaio, quindi prima di importarlo bisogna ridurre i poligoni.
Renderlo usabile nel gioco: lasciare allo script Blender quello che sa fare
Ho ritagliato il concept tenendo solo la statua di fronte e l'ho ricaricato su Tripo. Stavolta è uscita una statua sola, ma i poligoni erano ancora tanti: circa 1,9 milioni di triangoli, tre texture 4K, quasi 70 MB, e niente scheletro.
Ho usato HD Model di Tripo Studio, con H3.1 (Best Quality) come modello AI: con queste impostazioni ogni generazione costa 40 crediti. I dettagli sono davvero curati, ma questo numero di poligoni è pensato per il rendering, non per un gioco.
La parte curiosa è che il lavoro di pulizia è tornato proprio allo script Blender. Lo script non sa scolpire forme belle, ma "raddrizzare, ridurre i poligoni, colorare, fare il rigging, animare", cioè lavori con regole precise, è esattamente quello in cui è bravo. Ecco cosa fa questo script:
- Raddrizza: orientamento uniforme, piedi appoggiati a terra, altezza scalata a un'unità fissa.
- Separa la riga: l'arma lunga e sottile viene staccata dal corpo e rifatta come una barra pulita (tacche comprese), legata a un osso tutto suo. Così, quando la agita, non si trascina dietro anche le gambe.
- Ricostruisce il guscio e poi riduce i poligoni: la mesh di Tripo ha dei buchi e le parti sono attaccate tra loro, quindi una riduzione diretta la strappa. Lo script prima crea un guscio chiuso, poi scende a circa 16.000 triangoli.
- Colora: prende i colori dalla texture originale e li riduce a 6 blocchi di colore. Gli occhi hanno un materiale emissivo a parte.
- Scheletro e animazioni: 15 ossa, con idle, camminata, attacco, colpo pesante, colpo subito e caduta.
Il file finale pesa meno di 1 MB, ha circa un centesimo dei poligoni dell'originale, ma la forma è ancora quella della statua del concept:
Rispetto alla versione a mattoncini montata da zero con lo script, questo sì che è un mostro da mettere nel gioco.
Il mio flusso attuale di modellazione 3D con AI
- Concept: Codex chiama gpt-image, con un personaggio già presente nel gioco come riferimento di stile.
- Generazione del modello: ritaglio il concept su un solo personaggio, lo carico su Tripo e genero un modello con texture.
- Pulizia: con lo script Blender ricostruisco il guscio, riduco i poligoni e semplifico i colori in blocchi, così non stona accanto agli altri personaggi del gioco.
- Scheletro e animazioni: lo stesso script fa il rigging e crea idle, camminata, attacco e le altre animazioni.
- In Godot: esporto in GLB e lo importo nel gioco.
Modellazione 3D con AI: quale dei tre metodi scegliere
Metodo | Ideale per | Limiti |
|---|---|---|
Script Blender scritto dall'AI | Oggetti squadrati e lavori di pulizia come riduzione dei poligoni e rigging | Difficile fare bene personaggi e forme organiche da zero |
Da immagine a 3D (Tripo) | Hai già un concept che ti piace e vuoi un personaggio in fretta | Tantissimi poligoni da ridurre; meglio caricare immagini con un solo personaggio |
Asset già pronti | Personaggi, mostri e oggetti comuni | Difficile trovare un personaggio che corrisponda esattamente alla tua idea |
La mia conclusione: i personaggi li genero da immagine a 3D e poi li sistemo con lo script; gli oggetti squadrati li faccio con lo script; le cose comuni le compro come asset. Mescolare i tre metodi è molto più comodo che ostinarsi a farne funzionare uno solo fino in fondo.
Se anche tu hai un gioco o un progetto 3D bloccato sulla modellazione, scrivimi pure nei commenti di un mio post su Threads o su X e ne parliamo.
— Terry L