AI 게임 개발 Dream Loop 워크플로: Claude로 3일 만에 만든 소울라이크 Three.js 게임 6단계 분석 (직접 테스트)
Claude로 3일 만에 만든 소울라이크 Three.js 게임. Meng To의 AI 게임 개발 6단계를 분석하고 Dream Loop를 달 기지에서 직접 테스트했습니다.

AI 게임 개발에서 게임을 '플레이할 수 있게' 만드는 건 이제 어렵지 않습니다. 정말 어려운 건 '보기 좋게' 만드는 일이죠. AI에게 조명을 좀 더 좋게, 이펙트를 좀 더 화려하게 해 달라고 하면 매번 고쳤다고 합니다. 그런데 정말 나아졌는지 알 수가 없고, 뭐가 달라졌는지도 말로 설명하기 어렵습니다.
Design+Code와 Aura의 창업자 Meng To가 최근 X에 소울라이크 스타일의 Three.js 게임을 공유했습니다. Claude Fable 5.2로 3일 만에 완성했고, 브라우저에서 바로 돌아가며, 조명과 이펙트, 사운드까지 갖췄는데 빌드 과정조차 없습니다. 그는 스레드로 전체 워크플로를 설명했고(원문 스레드), 사용한 스킬도 GitHub에 공개했지만, 전체 프롬프트는 공개하지 않았습니다. 이 글에서는 그의 여섯 단계를 분석하면서, 화면을 계속 좋아지게 만드는 비법인 Dream Loop에 집중합니다. 마지막으로 제 사이트 메인 페이지의 달 기지로 직접 한 번 테스트해 봤습니다.

Claude로 게임 만들기: 어떤 도구를 썼을까?
그가 밝힌 조합은 딱 네 가지입니다.
- Claude Code: Fable 5.2를 메인으로 쓰고, 하위 작업은 Opus 5.5로 돌림.
- Three.js: 순수 웹 3D. 번들링이나 빌드 없이 브라우저에서 바로 실행.
- Seedream 5.0 Pro: AI 이미지 생성. 캐릭터 콘셉트 아트, UI 아이콘, 그리고 가장 중요한 '목표 이미지'를 그림.
- Tripo 3D: 콘셉트 아트를 3D 모델로 변환.
도구 자체는 특별할 게 없습니다. 배울 만한 건 이 도구들을 엮어서 스스로 좋아지는 루프로 만든 방식입니다.
1단계: 먼저 게임을 플레이할 수 있게 만들기
첫 단계의 목표는 하나뿐입니다. 플레이 가능한 버전을 만드는 것. 그는 Fable 5.2에 프롬프트 하나를 주면서 스킬(skill) 세 개를 함께 불러오게 했습니다. 다른 사람이 오픈소스로 공개한 dream-loop, 그리고 그가 직접 만든 두 개입니다. 하나는 '목표 대비 점수를 매기는' 워크플로를, 다른 하나는 액션 전투 설계를 담당합니다(둘 다 그의 Skills 저장소에 있습니다).
6시간, 프롬프트 12개 만에 걸어 다니며 싸울 수 있는 스테이지 하나와 보스 하나가 나왔습니다. 이 시점에는 화면이 예쁜지는 중요하지 않습니다. 우선 게임플레이가 처음부터 끝까지 돌아가게 하는 게 먼저입니다.
2단계: 작업을 여러 AI 에이전트에게 나누기
플레이가 가능해지자 그는 Fable 5.2를 총지휘로 두고 Opus 5.5 하위 스레드를 여러 개 띄웠습니다. 조명, 이펙트, 캐릭터, 소품, UI, 사운드처럼 스레드 하나가 분야 하나를 맡고, 최대 아홉 개를 동시에 돌렸습니다. 각 스레드는 자기 담당 파일만 수정합니다.
이 마지막 규칙이 아주 중요합니다. 여러 AI가 같은 프로젝트를 동시에 고치면 가장 흔한 사고가 서로의 작업을 덮어쓰는 겁니다. 각자 자기 파일만 맡아야 아홉 개가 진짜로 병렬로 돌아갈 수 있습니다.
사운드는 예외입니다. 그는 댓글에서 지금의 AI는 코드로 효과음을 합성하는 실력이 아직 많이 부족하다고 했고, 그래서 자신의 사운드 라이브러리를 쓰고 earshot이라는 스킬로 연결했습니다.
3단계: AI 이미지 생성으로 콘셉트 아트를 만들고 3D 모델로 변환
캐릭터와 몬스터 제작 흐름은 이렇습니다.
- Seedream으로 콘셉트 아트를 그립니다. 조건은 엄격합니다. 표준 A 포즈, 회색 배경.
- Tripo 3D로 콘셉트 아트를 GLB 모델로 변환합니다. 게임 전체에 29개를 썼습니다.
- 변환된 모델에는 리그가 없어서 리그와 애니메이션은 AI가 코드로 직접 작성하게 했습니다.
A 포즈와 회색 배경은 이미지를 3D로 변환할 때 처리하기 쉽게 하려는 겁니다. 팔이 몸에서 떨어져 있어야 한 덩어리로 붙지 않고, 배경이 깨끗해야 그림자가 텍스처에 베이크되지 않습니다. 저도 〈AI 3D 모델링 직접 테스트〉와 〈Tripo AI 모델 점검하는 법〉에서 같은 문제를 겪었습니다. 콘셉트 아트를 제대로 준비하지 않으면 나중에 아무리 고쳐도 고생입니다.
그는 모든 프롬프트와 에셋을 Fil 캔버스 하나에 정리해 두어, 어떤 콘셉트 아트가 어떤 모델이 됐는지 한눈에 볼 수 있다고 합니다. 다만 스레드에는 캔버스 스크린샷만 올라와 있고 캔버스 자체는 공개되지 않아서, 전체 프롬프트는 볼 수 없습니다.
4단계: Dream Loop란?
전체 과정에서 가장 영리한 부분입니다.
- 먼저 게임 화면을 스크린샷으로 찍습니다.
- Seedream에게 이 스크린샷을 다시 그리게 합니다. 프롬프트에는 카메라, 구도, 배치, 캐릭터 포즈는 전혀 바꾸지 말고 더 보기 좋게만 그리라고 요구합니다.
- 이렇게 다시 그린 이미지가 '목표 이미지'가 됩니다. 그다음 AI 에이전트들이 조명, 머티리얼, 이펙트를 고쳐서 게임 화면이 이 이미지에 가까워질 때까지 반복합니다.
왜 효과가 있을까요? '화면을 좀 더 예쁘게'는 검수할 방법이 없는 말이지만, 같은 카메라 구도의 목표 이미지는 바로 비교할 수 있기 때문입니다. 벽 모서리 그림자가 충분히 진한지, 창밖 빛이 들어오는지, 바닥에 반사가 있는지 전부 눈으로 확인됩니다. AI도 드디어 따라갈 구체적인 방향이 생기는 거죠.
장면 속 바위, 도자기 항아리, 석재는 Poly Haven의 무료 CC0 스캔 소스를 썼습니다. 모든 걸 AI로 생성할 필요는 없습니다.
직접 테스트: 달 기지로 Dream Loop 해 보기
제 사이트 메인 페이지의 달 작업실로 테스트해 봤습니다. Three.js로 만든 장면으로, 주인공 Terry가 작업실 한가운데 서 있고 창밖에는 달 표면이 보입니다.

ChatGPT의 이미지 생성(gpt-image)으로 이 스크린샷을 다시 그렸습니다. 프롬프트의 핵심은 Meng To와 같고, 두 부분으로 나눴습니다.
- 절대 바꾸지 않을 것: 카메라 위치, 시점, 구도, 모든 오브젝트의 위치와 개수, 캐릭터 포즈와 SD 스타일, 방 구조, 색 구성. 사실적인 스타일로 바꾸지 말라는 점도 따로 적었습니다.
- 렌더링만 바꿀 것: 벽 모서리와 가구 아래에 앰비언트 오클루전을 넣고, 실내는 따뜻한 조명, 창밖에서는 차가운 달빛이 비스듬히 들어오게. 모니터는 은은하게 빛나고, 바닥 타일에는 약간의 광택, 창밖 달 표면의 크레이터는 더 선명하게, 하늘에는 별을 넣고, 블룸과 비네팅을 살짝 추가.

첫 시도부터 방향이 보였습니다. 벽 모서리에 그림자가 생겼고, 창으로 들어온 빛이 바닥에 여러 줄의 빛 띠를 만들었고, 달 표면은 그냥 회색에서 크레이터와 돌이 있는 지형으로 바뀌었습니다. 전부 AI에게 '이렇게 고쳐'라고 바로 전달할 수 있는 것들입니다.
하지만 문제도 보였습니다. 카메라 화각이 조금 넓어졌고, 책상도 작아졌습니다. 카메라는 움직이지 말라고 분명히 썼는데도, 이미지 생성 모델은 슬쩍 구도를 바꿉니다. 이걸 목표 이미지로 쓰려면 바뀌면 안 되는 부분이 바뀌지 않았는지 먼저 확인해야 합니다. 다음 단계의 심사가 그렇게 중요한 이유이기도 합니다.
Seedream과 gpt-image는 뭐가 다를까?
Meng To는 목표 이미지를 Seedream으로 그렸고, 저는 처음에 gpt-image를 썼습니다. 제대로 비교하려고 나중에 스크린샷을 새로 찍어서, 같은 스크린샷과 같은 프롬프트로 Seedream 5.5와 gpt-image에 각각 한 번씩 그리게 했습니다. Meng To는 Seedream 5.0 Pro를 썼지만, 저는 더 새로운 5.5를 썼습니다. 직접 써 보니 더 저렴하면서도 이미 픽셀 단위로 정렬될 만큼 정확했습니다. 제가 신경 쓴 건 누가 더 예쁘게 그리느냐가 아니라 누가 구도를 더 잘 지키느냐입니다. Dream Loop에 가장 필요한 게 바로 그것이니까요.
이번 프롬프트는 첫 번째보다 훨씬 엄격하게 썼습니다. 구도는 픽셀 단위로 맞추고, 모든 오브젝트와 윤곽선은 움직이지 말 것, 그리고 조명, 그림자, 머티리얼, 블룸처럼 Three.js 실시간 렌더링으로 구현할 수 있는 효과만 더하고 게임 엔진으로 못 하는 건 그리지 말 것을 명시했습니다.

둘 다 원본보다 훨씬 보기 좋지만 성격이 다릅니다.
- Seedream 5.5는 차갑고 사실적인 쪽: 달 표면이 밝고 선명하며, 바닥에 반사가 있어서 전체적으로 진짜 우주 정거장 같습니다.
- gpt-image는 따뜻하고 분위기 중심: 천장 조명이 더 따뜻하고, 별이 더 촘촘하며, 창으로 들어온 빛이 바닥에 뚜렷한 빛 띠를 만듭니다.
진짜 차이는 다시 그린 이미지를 원본과 겹쳐 봐야 알 수 있습니다.

- Seedream 5.5는 거의 픽셀 단위로 일치: 겹쳐도 잔상이 거의 보이지 않고, 창틀, 책상, 캐릭터가 모두 제자리에 있습니다.
- gpt-image는 비슷하지만 조금 어긋남: 대략적인 위치는 맞지만 천장과 창틀의 윤곽선이 살짝 어긋나 있습니다. gpt-image 스스로도 다 그리고 나서 '구도는 비슷하지만 픽셀 단위로 일치하지는 않는다'고 보고했습니다.
Seedream도 한 번에 성공한 건 아닙니다. 첫 번째에는 정사각형 이미지를 내놓으면서 화면을 위아래로 늘려 구도 자체를 새로 짰습니다. 입력 이미지를 16:9로 자르고 출력 비율도 지정한 뒤, 두 번째에야 맞았습니다. 그러니 어느 쪽을 쓰든 입력과 출력 비율은 미리 정해 둬야 합니다.
제 결론은 이렇습니다. Dream Loop의 목표 이미지로는 Seedream이 더 쓸 만합니다. AI 에이전트는 위치마다 디테일을 쫓아가기 때문에 구도가 조금만 어긋나도 헛수고가 됩니다. gpt-image는 방향을 찾을 때, 즉 '어떤 느낌으로 바뀔 수 있을지' 볼 때 좋습니다. 어느 쪽을 쓰든 목표 이미지는 반드시 원래 스크린샷과 한 번 겹쳐서 비교하고, 맞지 않으면 다시 그리세요.
5단계: UI도 AI에게 맡기기
게임 UI에 대해서는 프롬프트를 거의 쓰지 않았습니다. 대략 이런 식입니다.
- 먼저 화면 아래쪽의 체력 바와 스태미나 바를 포함한 UI 전체 콘셉트 아트를 요청합니다.
- 그대로 구현하게 합니다.
- 질감이 부족하다 싶으면 테두리에 그라데이션, 불규칙함, 그림자, 노이즈 느낌을 더 넣으라고 합니다.
- 마지막으로 아이콘을 투명 PNG로 받습니다.
아이콘도 Seedream이 그린 투명 PNG입니다.
6단계: 수정할 때마다 블라인드 테스트
Dream Loop가 폭주하지 않게 하는 핵심입니다. 그의 규칙은 이렇습니다.
- 수정할 때마다 같은 카메라로 수정 전후의 스크린샷을 각각 4K로 찍습니다.
- 이를 완전히 새로운 AI 심사위원에게 넘깁니다. 두 이미지의 순서를 섞고 X와 Y로만 표시해서, 심사위원은 어느 쪽이 새 버전인지 모릅니다.
- 새 버전이 이기거나 비겼을 때만 그 수정을 남깁니다.
- 정식 라운드에서는 심사위원 두 명과 10점 만점 평가표를 쓰고, 둘 중 낮은 점수를 채택합니다. 목표는 9점입니다.
AI 에이전트는 '다 고쳤어요'라는 말을 아주 잘합니다. 하지만 스스로 고치고 스스로 검수하면 대개 점점 엇나갑니다. 과정을 보지 않은 심사위원으로 바꾸고 순서까지 섞으면, 화면 품질에 회귀 테스트를 거는 셈이라 나빠진 수정은 살아남지 못합니다.
그가 직접 내린 지시도 아주 짧습니다. 대략 '8점이 될 때까지 계속 고쳐', '매번 수정 전후 스크린샷을 주고, 애니메이션은 영상으로 줘' 같은 식입니다. 보스의 베기 이펙트가 계속 나아지지 않았을 때는 답장에서 짜증이 그대로 느껴졌는데, 아무리 뛰어난 워크플로라도 막힐 때는 막히나 봅니다.
이 방법의 한계
Meng To 본인도 분명히 말했듯, 이건 아직 완성된 게임이 아닙니다.
- 영상은 스크립트로 제어되는 봇이 플레이한 것이고, 모든 장면은 미리 배치해 둔 것입니다.
- 엄격한 심사위원은 대부분 5~6점밖에 주지 않아, 9점과는 아직 거리가 멉니다.
- 로딩에 10초 넘게 걸립니다.
- 걷기와 달리기 애니메이션이 가장 어려웠는데, 댓글에 따르면 최소 8번은 시도했고 그중 걷기는 4번이나 반려했다고 합니다.
그러니 3일 만에 나온 건 플레이 가능한 데모 버전이지, 출시할 수 있는 게임은 아닙니다. 그래도 혼자 게임을 만드는 입장에서 0에서 이 수준까지 3일이면 충분히 놀랍습니다.
혼자 AI로 게임을 만든다면 어떤 것부터 배울까?
여러분도 AI로 게임을 만들고 있다면, 가장 먼저 가져다 쓸 만한 건 이 세 가지라고 생각합니다.
- 이미지 한 장으로 '보기 좋음'을 정의하기: 스크린샷을 찍고, 다시 그리고, 그걸 목표로 삼으세요. 스타일을 길게 글로 설명하는 것보다 훨씬 정확합니다.
- 검수는 다른 사람에게 맡기기: 수정 전후를 같은 카메라로 찍어서 새로운 AI에게 블라인드로 고르게 하세요. 고친 쪽이 직접 점수를 매기게 하지 마세요.
- 총지휘자 한 명이 전담 에이전트 여럿을 이끌기: 각 에이전트가 자기 파일만 건드려야 마음 놓고 병렬로 돌릴 수 있습니다.
제 다음 단계는 테스트에서 만든 그 목표 이미지를 보고 달 작업실의 조명을 고치는 것입니다. 한 번 고칠 때마다 수정 전후 한 쌍을 찍어 심사위원에게 고르게 하면서, 정말 그 이미지에 가까워질 수 있는지 확인해 보려고 합니다.
여러분도 AI에게 화면이 나아졌는지 직접 판단하게 해 본 적이 있나요? Threads나 X에서 제 게시물에 편하게 댓글 남겨 주세요.


