2026 가을 · 고요의 기지에서
달 스튜디오 둘러보기 ↗
게임 개발

무료 TTS로 게임 AI 더빙: Kokoro·Chatterbox 음성 합성

상업적으로 쓸 수 있는 무료 TTS Kokoro와 Chatterbox. GPU 없는 노트북에서 영어·한국어 게임 캐릭터 AI 더빙과 AI 목소리 복제를 테스트했습니다.

달 기지의 바에 놓인 노트북에서 흘러나온 주황색 음파가 잔을 닦는 로봇 바텐더에게 향하고, 헤드폰을 쓴 우주비행사가 바 의자에 앉아 엄지를 들어 보이고 있다
달 기지의 바에 놓인 노트북에서 흘러나온 주황색 음파가 잔을 닦는 로봇 바텐더에게 향하고, 헤드폰을 쓴 우주비행사가 바 의자에 앉아 엄지를 들어 보이고 있다

이 웹사이트의 첫 화면은 달 기지입니다. terryl.in에 들어가면 Three.js로 만든 3D 미니 게임이 열립니다. 우주비행사를 조작해 기지 안을 돌아다니고, 우주복을 입고 에어록을 지나 달 표면으로 나가거나, 바에서 시그니처 칵테일을 주문할 수 있습니다. 블로그 '달 기지 일지'는 이 기지를 만들어 가는 과정을 기록하는 곳입니다.

기지의 바에는 아서라는 로봇 바텐더가 있습니다. 영화 〈패신저스〉(2016)에 나오는 안드로이드 바텐더 아서에게 바치는 오마주입니다. 영화 속 아서처럼 온화하고 아주 예의 바르며, 무표정한 얼굴로 말합니다. 대사 몇 줄도 영화에서 가져와 다듬었기 때문에, 영화를 본 분이라면 알아챌 겁니다. 왜 계속 잔을 닦느냐고 물으면 이렇게 답합니다. "잔을 닦지 않으면 대화를 해야 하거든요." 아쉽게도 지금까지 이 대사들은 대화창 속 글자일 뿐이었습니다.

지난 글에서는 Stable Audio 3 Small SFX로 달 기지의 효과음을 만들었습니다. 이번에는 더빙입니다. 예전에는 게임 캐릭터에 목소리를 입히려면 성우를 섭외하거나, ElevenLabs처럼 글자 수로 요금을 매기는 클라우드 AI 음성 합성 서비스를 써야 했습니다. 이제는 오픈소스이고 무료이며 상업적으로도 쓸 수 있는 TTS(텍스트 음성 변환) 모델이 여럿 있어서, 내 컴퓨터에 내려받기만 하면 바로 쓸 수 있습니다. 쓸 때마다 돈이 나가지 않고, ElevenLabs의 무료 대안으로도 쓸 수 있습니다.

이 글에서는 지금 가장 쓸 만한 오픈소스 TTS 모델들을 비교합니다. 그래픽카드가 없는 노트북에 Kokoro TTS와 Chatterbox TTS를 설치해 아서의 대사를 영어와 한국어로 직접 더빙해 봤고, 무료 AI 목소리 복제(보이스 클로닝)도 시도했습니다. 대사마다 캐릭터가 같은 목소리를 유지하게 하기 위해서입니다.

오픈소스 TTS 추천: 상업적으로 쓸 수 있는 AI 음성 합성 모델 비교

결론부터 보겠습니다. 라이선스를 검토해 상업적 이용이 가능하다고 확인한 모델들입니다.

모델

파라미터 수

라이선스

목소리 복제

지원 언어

하드웨어

Kokoro-82M

8,200만

Apache 2.0

불가, 내장 목소리 54종

8개 언어(한국어 없음)

CPU로 충분

Chatterbox-Nano

1.1억

MIT

가능

영어만

CPU로 충분

Chatterbox-Turbo

3.5억

MIT

가능

영어만

CPU 가능, 느린 편

Chatterbox(원본, Multilingual V3, 중국어판)

5억

MIT

가능

Multilingual V3는 23개 언어(한국어 포함)

CPU 가능, 매우 느림

Step Audio EditX

약 30억

Apache 2.0

가능

중국어에 강함

NVIDIA 그래픽카드 필요

Qwen3-TTS(0.6B, 1.7B)

6억, 17억

Apache 2.0

가능, 3초 참조 음성

10개 언어(한국어 포함)

0.6B는 CPU로 돌아가지만 복제는 매우 느림

간단히 정리하면 이렇습니다.

  • 빠르고 가볍게, 노트북에서 쓰고 싶다면: Kokoro. 단, 한국어는 지원하지 않습니다.
  • 목소리를 복제해 캐릭터 목소리를 일정하게 유지하고 싶다면: Chatterbox. 영어는 Nano, 한국어는 Multilingual V3.
  • NVIDIA 그래픽카드가 있고 더 세밀하게 다루고 싶다면: Qwen3-TTS. 한 문장 설명으로 목소리를 '디자인'할 수 있고, 말투 지시로 감정도 조절할 수 있습니다. 한국어도 지원합니다.
  • 고성능 그래픽카드가 있고 최고의 음질과 감정 표현을 원한다면: Step Audio EditX.

Step Audio EditX는 NVIDIA 그래픽카드가 필요한데 제 노트북에는 없어서 이번에는 테스트하지 못했습니다. Qwen3-TTS는 가장 작은 0.6B를 써 봤는데, CPU로도 돌아가서 결과를 아래에 올렸습니다.

이 글은 우선 전체를 훑어보는 글이고, 앞으로 Kokoro, Chatterbox, Qwen3-TTS, Step Audio EditX, 그리고 VoiceStudio를 모델별로 한 편씩 따로 소개할 예정입니다.

사람이 블라인드로 들어 보고 점수를 매기는 순위표(Speech Arena 등)에서는 여전히 ElevenLabs 같은 비공개 서비스가 맨 위를 차지하고 있고, 오픈소스 모델은 아직 10위 안에 들지 못했습니다. 하지만 게임에 꼭 최고 수준의 음질이 필요한 건 아닙니다. NPC 대사, 튜토리얼용 AI 내레이션, 개발 단계의 임시 더빙이라면 오픈소스 모델로 충분합니다.

또 하나의 선택지: Qwen3-TTS

Qwen3-TTS는 알리바바의 Qwen(통의천문) 팀이 2026년 1월에 오픈소스로 공개한 TTS 시리즈입니다. 라이선스는 Apache 2.0이라 상업적으로 쓸 수 있습니다. 0.6B와 1.7B 두 가지 크기가 있고, 각각 용도가 다른 버전으로 나뉩니다.

  • Base: 목소리 복제. 참조 음성은 3초면 됩니다.
  • CustomVoice: 내장 목소리 9종. 베이징 억양과 쓰촨 억양의 남성 목소리도 있습니다. 1.7B 버전은 "아주 화난 말투로 말해"처럼 지시로 말투도 조절할 수 있습니다.
  • VoiceDesign(1.7B): 글로 설명해서 목소리를 디자인합니다. 예를 들어 "17살 남자아이, 테너, 말할수록 점점 자신감이 붙는다".

중국어, 영어, 일본어, 한국어, 독일어, 프랑스어, 러시아어, 포르투갈어, 스페인어, 이탈리아어 10개 언어를 지원합니다. 공식 평가에서는 중국어 발음 정확도와 목소리 유사도에서 ElevenLabs를 앞섰다고 하지만, 개발사 자체 테스트 결과입니다.

게임 더빙에 쓸 때 가장 실용적인 방법은 먼저 목소리를 디자인하고, 그다음 복제하는 것입니다. VoiceDesign에 캐릭터의 목소리를 글로 설명해 대사 하나를 만들어 참조 음성으로 삼고, 이후 대사는 모두 Base로 복제하면 목소리가 일정하게 유지됩니다. 이 글에서 Kokoro와 Chatterbox를 함께 쓴 방식과 거의 같습니다.

설치는 pip install -U qwen-tts입니다. 공식 예제는 모두 NVIDIA 그래픽카드에서 bfloat16과 FlashAttention 2로 돌리고 있고, 그래픽 메모리가 얼마나 필요한지, CPU만으로 돌아가는지는 적혀 있지 않습니다.

같은 노트북의 CPU로 0.6B를 돌려 봤습니다.

  • 내장 목소리(CustomVoice): 약 6초 길이의 대사 하나를 만드는 데 약 31초.
  • 목소리 복제(Base): 4~5초 대사 하나에 4분 이상. Chatterbox 중국어 파인튜닝판보다 세 배의 시간이 걸렸습니다.

어떤 TTS든 마찬가지지만, 발음이 여러 가지인 단어, 고유명사, 외래어는 직접 들어 보고 나서 쓰세요.

그래픽카드가 없다면 Qwen3-TTS는 내장 목소리를 쓰는 편이 맞습니다. 목소리 복제로 대사를 대량으로 만들려면 역시 NVIDIA 그래픽카드가 있어야 합니다.

오픈소스처럼 보이지만 상업적으로 쓸 수 없는 모델

모델을 고를 때 가장 빠지기 쉬운 함정이 라이선스입니다. Hugging Face에 가중치가 공개되어 있다고 해서 그걸로 돈을 벌어도 되는 건 아닙니다.

  • Coqui XTTS v2: 다국어에 목소리 복제도 되고 한때 아주 인기였지만, 라이선스가 Coqui Public Model License라서 비상업적 용도로만 쓸 수 있습니다.
  • Fish Audio S2 Pro: 가중치는 공개되어 있지만, 상업적으로 쓰려면 Fish Audio에서 따로 라이선스를 사야 합니다.
  • 일부 연구용 모델: CC BY-NC 라이선스(NC는 비상업적 용도로만 쓸 수 있다는 뜻).

내려받기 전에 반드시 모델 페이지의 License 항목을 확인하고, 들어가서 전문을 읽어 보세요.

Kokoro TTS란? 한국어 지원? 상업적 이용은?

Kokoro-82M은 파라미터가 8,200만 개뿐인 TTS 모델로, 2025년 1월에 1.0 버전이 나왔습니다. CPU로 돌릴 수 있을 만큼 작은데도 음질은 비슷한 규모의 소형 모델 중에서 손꼽히는 수준이라, 많은 상용 API와 프로젝트가 이 모델을 씁니다.

  • 라이선스: Apache 2.0. 상업적으로 쓸 수 있고, 내 제품에 넣어서 배포해도 됩니다.
  • 학습 데이터: 공식 설명에 따르면 퍼블릭 도메인 녹음, Apache 또는 MIT 라이선스 녹음, 대형 업체의 비공개 TTS로 만든 합성 음성만 썼고, 다른 사람의 목소리를 복제한 음성은 쓰지 않았습니다.
  • 목소리: 내장 목소리 54종, 8개 언어: 영어(미국식, 영국식), 일본어, 중국어, 스페인어, 프랑스어, 힌디어, 이탈리아어, 브라질 포르투갈어.
  • 한계: 목소리 복제는 안 되고 내장 목소리 중에서만 고를 수 있습니다. 그리고 한국어는 지원하지 않습니다. 한국어 더빙에는 아래에서 소개하는 Chatterbox Multilingual V3나 Qwen3-TTS를 써야 합니다.

그래도 영어 대사라면 Kokoro는 아주 쓸 만합니다. 아서의 영어 목소리도 Kokoro의 내장 목소리로 정했습니다.

주의할 점이 하나 있습니다. 공식 안내에 따르면 도메인 이름에 'kokoro'가 들어간 웹사이트는 이 모델과 아무 관계가 없습니다. 그런 사이트에서 결제하거나 내려받지 마세요.

Chatterbox TTS란? 한국어 지원? 상업적 이용은?

Chatterbox는 음성 기업 Resemble AI가 오픈소스로 공개한 TTS 시리즈입니다. 가장 큰 특징은 목소리 복제로, 5~10초 분량의 사람 목소리를 주면 그 음색으로 새 대사를 읽어 줍니다. 원본 버전은 감정을 얼마나 과장할지 조절할 수 있고, Turbo 버전은 대사 안에 [laugh], [chuckle], [cough] 같은 웃음이나 기침 태그를 넣을 수 있습니다.

  • 라이선스: MIT. 상업적으로 쓸 수 있습니다.
  • 워터마크: 생성된 음성에는 모두 Resemble의 Perth 워터마크가 들어갑니다. 귀로는 들리지 않지만 mp3로 변환하거나 편집해도 남아 있어서, 탐지 도구로 AI가 만든 음성인지 가려낼 수 있습니다.
  • 유지보수 종료: Resemble AI는 2026년 8월 Chatterbox를 '종료된 연구 프로젝트'라고 발표했습니다. 앞으로 업데이트는 없고, 회사는 딥페이크 탐지로 방향을 바꿨습니다. 코드와 가중치는 MIT 라이선스로 남아 있어서 여전히 내려받을 수 있고 상업적으로도 쓸 수 있지만, 새 버전이나 지원은 없습니다.

마지막 점은 오히려 오픈소스 모델의 장점을 보여 줍니다. 가중치를 내 컴퓨터에 받아 두면 서비스가 끝나도 걱정이 없습니다. 클라우드 더빙 서비스가 가격을 올리거나 문을 닫으면 게임 속 더빙을 더는 고칠 수 없습니다. 오픈소스 모델은 하드디스크에 있으니, 10년 뒤에도 같은 목소리로 대사를 추가할 수 있습니다.

Chatterbox는 버전이 여러 개라 처음에는 헷갈리기 쉽습니다.

버전

파라미터 수

언어

특징

Chatterbox(원본)

5억

영어

감정 강도(exaggeration) 조절 가능

Multilingual V3

5억

23개 언어(중국어, 일본어, 한국어 포함)

모델 하나로 여러 언어

중국어 파인튜닝판(zh-cmn)

5억

중국어

중국어에 맞춰 조정

Turbo

3.5억

영어

더 빠름, 웃음·기침 태그 지원, 참조 음성 필수

Nano

1.1억

영어

가장 작고 빠름, 공식 설명으로는 8코어 CPU에서 실시간의 3배 속도

컴퓨터 사양: 그래픽카드 없이 돌아갈까?

제 노트북은 Intel Core Ultra 5(6코어)에 내장 그래픽뿐이라 사실상 CPU로만 돌립니다. 아래 표는 대사 하나를 만드는 데 실제로 걸린 시간입니다. 대사 길이는 각각 약 4~6초이고, 매번 모델을 불러오는 시간까지 포함했습니다.

모델

대사 하나에 걸리는 시간

Kokoro(영어)

약 9초

Kokoro(중국어)

약 13초

Chatterbox-Nano(복제)

약 15~20초

Chatterbox-Turbo(복제)

약 40초

Chatterbox 원본

약 60초

Chatterbox 중국어 파인튜닝판(복제)

약 80초

Qwen3-TTS 0.6B(내장 목소리)

약 31초

Qwen3-TTS 0.6B(복제)

약 4분

Kokoro와 Chatterbox Nano는 노트북에서도 아주 실용적이라, 대사 하나 고치고 다시 들어 보는 데 십몇 초만 기다리면 됩니다. Chatterbox의 5억 파라미터 버전은 CPU로 한 줄에 1~2분이 걸리니, 대사를 한꺼번에 생성하도록 해 두고 백그라운드에서 천천히 돌리는 용도에 맞습니다. NVIDIA 그래픽카드가 있으면 훨씬 빨라집니다.

디스크 공간은 두 도구의 Python 환경(CPU용 PyTorch 포함)이 각각 약 1.5 GB를 차지합니다. 모델 파일은 따로 내려받는데, Kokoro는 아주 작고 Chatterbox는 버전마다 약 1~3 GB입니다.

Kokoro TTS 설치 방법(CPU 버전)

시스템 Python에 설치하지 말고 uv로 따로 Python 환경을 만드는 걸 추천합니다. Kokoro는 Python 3.10~3.12를 지원합니다.

mkdir kokoro && cd kokoro
uv venv --python 3.11 && source .venv/bin/activate
uv pip install kokoro soundfile

Kokoro는 한국어를 지원하지 않으므로 아래 예제는 영어입니다. 영어 이외의 언어 발음은 내장된 espeak-ng가 처리하므로 따로 설치할 것이 없습니다(중국어와 일본어만 misaki[zh], misaki[ja]를 추가로 설치합니다).

영어 대사 하나를 생성해 봅니다.

import numpy as np, soundfile as sf
from kokoro import KPipeline

pipe = KPipeline(lang_code="b")  # b 영국식 영어, a 미국식 영어, j 일본어, z 중국어
audio = np.concatenate([np.asarray(r.audio) for r in pipe("A bartender keeps confidence.", voice="bm_george")])
sf.write("arthur.wav", audio, 24000)

목소리 이름의 첫 글자는 언어, 두 번째 글자는 성별입니다. bm_george는 영국식 영어 남성 목소리, bf_emma는 영국식 영어 여성 목소리입니다. 전체 목록은 공식 VOICES.md에 있습니다. 처음 실행하면 Hugging Face에서 모델을 자동으로 내려받습니다.

Chatterbox TTS 설치 방법: PyPI 구버전 말고 GitHub 버전을 설치하자

제가 겪은 가장 큰 함정이 여기였습니다. 많은 튜토리얼대로 pip install chatterbox-tts를 실행하면 PyPI의 0.1.7 버전이 설치되는데, 이 버전의 다국어 모델은 예전 V2입니다. 아서의 중국어 대사(두 문장)를 읽혀 봤더니 3초 남짓 만에 다 읽고 나서, 뒤에 십몇 초 동안 침묵과 이상한 소리가 이어졌습니다.

Multilingual V3, Nano, 중국어 파인튜닝판은 GitHub의 최신 버전에만 있으니 GitHub에서 바로 설치해야 합니다.

mkdir chatterbox && cd chatterbox
uv venv --python 3.11 && source .venv/bin/activate
uv pip install "chatterbox-tts @ git+https://github.com/resemble-ai/chatterbox" "setuptools<81"

뒤의 setuptools<81도 빼면 안 됩니다. 워터마크 패키지 Perth가 아직 예전 pkg_resources를 쓰는데, 새 setuptools에서는 이게 삭제됐기 때문입니다. 버전을 고정하지 않으면 실행하자마자 오류가 납니다.

Nano로 목소리 복제하기:

import torchaudio
from chatterbox.tts_turbo import ChatterboxTurboTTS

model = ChatterboxTurboTTS.from_pretrained(device="cpu", nano=True)
wav = model.generate("A bartender keeps confidence.", audio_prompt_path="arthur-ref.wav")
torchaudio.save("arthur.wav", wav, model.sr)

arthur-ref.wav가 복제할 참조 음성입니다. 중국어 파인튜닝판은 파일 형식이 본체와 조금 달라서, 파일을 불러오는 코드를 약간 고쳐야 합니다. 이런 자잘한 작업은 Claude Code나 Codex에 맡기기 딱 좋습니다.

Claude Code나 Codex에 설치 맡기기

버전 문제를 직접 처리하기 싫다면, 터미널에서 Claude Code나 Codex를 열고 이렇게 입력하세요.

~/tools에 Kokoro-82M과 Chatterbox를 설치해 줘(Chatterbox는 GitHub에서 최신 버전으로, Nano와 Multilingual V3를 쓸 수 있게). PyTorch는 CPU 버전으로 하고, 어느 폴더에서든 부를 수 있는 명령어를 각각 만들어 줘

저도 이렇게 설치했습니다. 도중에 만난 PyPI 버전이 너무 오래된 문제, setuptools 호환성 문제, 중국어 파인튜닝판 로딩 실패는 모두 AI 어시스턴트가 스스로 원인을 찾아 고쳤습니다. ~/tools에 설치해 두면 모든 프로젝트에서 같이 쓸 수 있어서, 게임마다 따로 설치할 필요가 없습니다.

AI 목소리 복제란? 무료 오픈소스로 하는 방법

목소리 복제(voice cloning)는 모델에 어떤 사람의 목소리를 주고, 그 음색으로 새 대사를 읽게 하는 것입니다. Chatterbox로 하는 목소리 복제는 무료이고 방법도 간단합니다. 참조 음성과 읽힐 대사만 준비하면 됩니다. 결과는 참조 음성의 품질이 좌우합니다.

  • 길이는 5~10초. 5초보다 짧으면 바로 오류 메시지가 뜹니다.
  • 한 사람만 말하고, 배경음악이나 잡음이 없어야 합니다.
  • 캐릭터에 맞는 말투: 말하는 속도와 감정까지 함께 배웁니다. 캐릭터가 느리고 담담하게 말하길 원한다면 참조 음성도 그래야 합니다.
  • 되도록 대사와 같은 언어로: 영어 참조 음성으로 다른 언어를 읽히면 영어 억양이 약간 섞입니다.

목소리의 출처는 중요합니다. 모델을 상업적으로 쓸 수 있다고 해서 아무 목소리나 복제해도 되는 건 아닙니다.

  • 직접 녹음한 목소리: 문제없습니다.
  • 성우나 친구가 녹음한 목소리: 게임에 쓰기 전에 본인의 동의를 받고, 되도록 서면으로 남겨 두세요.
  • 영화나 게임 캐릭터, 유명인의 목소리: 안 됩니다. 비슷하기만 해도 초상권이나 퍼블리시티권 같은 문제가 생깁니다.

저는 다른 방법도 씁니다. Kokoro로 대사 하나를 생성해 그걸 캐릭터의 원래 목소리로 삼는 것입니다. Kokoro는 Apache 2.0 라이선스라 생성한 음성을 자유롭게 쓸 수 있습니다. 먼저 캐릭터의 목소리를 '디자인'한 다음, Chatterbox에 넘겨 다른 대사를 읽히고 감정을 입히는 셈입니다.

테스트: 로봇 바텐더 아서 더빙하기

아서의 영어 목소리로는 Kokoro의 bm_george를 골랐습니다. 영국식 억양이 차분해서 예의 바른 집사형 로봇처럼 들립니다. 말하는 속도는 0.95로 살짝 낮췄습니다.

영화에서 아서를 연기한 배우는 마이클 쉰이지만, 여기서는 그의 목소리를 흉내 내지 않기로 했습니다. 더빙에 쓴 건 Kokoro의 내장 목소리이고, 복제한 것도 Kokoro가 만든 목소리입니다. 앞에서 말한 '목소리의 출처는 중요하다'가 바로 이런 뜻입니다.

아래 음성은 모두 모델이 출력한 그대로이며, 앞뒤의 무음을 잘라 내고 음량만 맞췄습니다.

Kokoro: 내장 목소리 그대로 쓰기

Kokoro bm_george: "If I didn't wipe the glass, I'd have to make conversation. And then guests feel awkward."
Kokoro bm_george: "A bartender keeps confidence. It's the sacred trust of the craft."

Chatterbox: Kokoro 목소리 복제하기

참조 음성은 위의 Kokoro bm_george 첫 번째 대사(약 6초)입니다.

Chatterbox-Nano로 bm_george 복제: "You can't get so hung up on where you'd rather be that you forget to make the most of where you are."
Chatterbox-Nano로 bm_george 복제: "A bartender keeps confidence. It's the sacred trust of the craft."

비교용으로 Chatterbox 원본의 내장 목소리도 들어 보세요. 복제 없이, 감정 강도를 0.3으로 낮췄습니다.

Chatterbox 원본 내장 목소리: "If I didn't wipe the glass, I'd have to make conversation. And then guests feel awkward."

몇 가지 관찰:

  • Kokoro는 매번 결과가 같습니다: 같은 대사, 같은 목소리라면 몇 번을 생성해도 똑같아서 테이크를 고를 필요가 없습니다. 느낌을 바꾸고 싶으면 목소리나 속도를 바꾸면 됩니다.
  • Chatterbox는 매번 결과가 다릅니다: 같은 대사라도 seed를 바꾸면 말투와 리듬이 달라지니, 여러 버전을 만든 뒤 골라야 합니다.
  • 복제하면 목소리가 일정해집니다: 참조 음성이 한 문장뿐이어도, 복제한 대사는 모두 같은 캐릭터의 음색이라 매번 목소리를 다시 고를 필요가 없습니다.
  • 복제한 버전은 조금 더 빠르게 읽습니다: 같은 대사라도 Nano 복제 버전이 Kokoro 원래 목소리보다 10~20% 짧았습니다. 더 천천히 말하게 하려면 더 느리게 읽은 녹음을 참조 음성으로 쓰면 됩니다.

한국어로 테스트

이제 한국어입니다. 달 기지 게임에서 아서가 하는 대사 두 줄을 한국어로 옮겨 읽혔습니다. Kokoro는 한국어를 지원하지 않으므로, 한국어를 지원하는 두 모델로 생성했습니다.

  • Chatterbox Multilingual V3: 위의 영어 bm_george를 참조 음성으로 복제했습니다. 참조 음성과 대사의 언어가 다르기 때문에 cfg_weight를 0으로 설정했습니다. 참조 음성과 대사의 언어가 다를 때 공식적으로 권장하는 설정으로, 영어 억양이 섞이는 것을 막아 줍니다.
  • Qwen3-TTS 0.6B: 내장 목소리 Ryan.
Chatterbox Multilingual V3(bm_george 복제): "잔을 닦지 않으면 대화를 해야 하거든요. 그러면 손님들이 어색해하죠."
Chatterbox Multilingual V3(bm_george 복제): "바텐더는 비밀을 지키는 사람이에요. 그게 이 일의 신성한 신뢰죠."
Qwen3-TTS 0.6B(Ryan): "잔을 닦지 않으면 대화를 해야 하거든요. 그러면 손님들이 어색해하죠."
Qwen3-TTS 0.6B(Ryan): "바텐더는 비밀을 지키는 사람이에요. 그게 이 일의 신성한 신뢰죠."

테스트 기록:

  • 음성 인식으로 검증: 모든 음성을 Whisper(음성 인식)로 다시 텍스트로 옮겨 원래 대사와 대조했습니다. 한국어 음성 네 개에서는 잘못 읽은 부분이 발견되지 않았습니다.
  • 속도: 모델을 한 번만 불러온 뒤 이어서 생성하면, Chatterbox Multilingual V3는 한 줄에 약 30초, Qwen3-TTS 0.6B는 약 20~30초가 걸렸습니다(같은 CPU 전용 노트북 기준). 앞의 표는 매번 모델을 불러오는 시간까지 포함한 수치라, 대사를 한꺼번에 만들 때는 이쪽이 실제에 더 가깝습니다.

AI 더빙 프롬프트는 어떻게 쓸까? Claude Code나 Codex에 맡기기

TTS에 넣는 건 대사 자체입니다. 효과음을 생성할 때처럼 원하는 소리를 프롬프트로 설명하는 게 아닙니다. 다만 목소리 고르기, 복제, 결과 확인에는 정해진 흐름이 있어서, AI 코딩 어시스턴트의 전역 설정에 적어 두면 편합니다. Claude Code의 설정 파일은 ~/.claude/CLAUDE.md, Codex는 ~/.codex/AGENTS.md입니다. 그다음부터는 "아서의 이 대사 세 줄 더빙해 줘"라고만 하면 이 규칙대로 처리합니다.

## 로컬 TTS로 게임 캐릭터 더빙하기

더빙을 요청하면 로컬의 Kokoro와 Chatterbox를 쓰고, 다음 규칙을 따를 것:

- 캐릭터마다 목소리를 하나로 고정한다. 새 캐릭터는 Kokoro에서 내장 목소리를 골라 5~10초짜리 대사 하나를 생성해 참조 음성으로 저장하고, 이후에는 그것으로 복제한다.
- 감정이나 웃음이 필요 없는 영어 대사는 바로 Kokoro로. 감정, 웃음([laugh], [chuckle])이 필요하거나 참조 음성과 목소리를 맞춰야 할 때는 Chatterbox로 복제한다: 영어는 Nano나 Turbo, 한국어는 Multilingual V3(참조 음성과 대사의 언어가 다르면 cfg_weight를 0으로).
- 발음이 여러 가지인 단어, 고유명사, 외래어는 직접 들어 보고 나서 쓴다.
- 대사 하나에 파일 하나, 파일 이름은 '캐릭터-언어-번호'.
- Chatterbox는 대사마다 서로 다른 seed 3개로 한 번씩 생성하고, 파일 이름과 대사를 목록으로 보여 줘서 내가 고르게 한다.
- 생성 후 길이를 확인한다: 대사에 비해 음성이 눈에 띄게 길면 더 읽은 것이니 seed를 바꿔 다시 생성한다.
- 본인 동의를 받았다고 내가 말하지 않는 한 실존 인물의 목소리는 복제하지 않는다.
- 웹페이지나 게임에 넣을 때는 앞뒤 무음을 잘라 내고, 짧은 페이드아웃을 넣고, 라우드니스를 맞춘 뒤 mp3로 변환한다.

대사에 표정 더하기: Turbo의 웃음 태그

Chatterbox-Turbo는 대사 안에 바로 태그를 넣을 수 있습니다. 예를 들어 [chuckle]은 가벼운 웃음, [laugh]는 큰 웃음, [cough]는 기침입니다.

Can I keep a secret? [chuckle] A bartender keeps confidence. It's the sacred trust of the craft.
Chatterbox-Turbo로 bm_george 복제, 대사 중간에 [chuckle]을 넣은 버전

오픈소스 TTS의 한계

한 바퀴 써 보고 나서 미리 알려 드리고 싶은 점이 몇 가지 있습니다.

  • 그래픽카드가 없다면 인내심이 필요합니다: Kokoro와 Chatterbox Nano는 빠르지만, 다른 Chatterbox 버전은 CPU로 한 줄에 1~2분이 걸립니다.
  • 영어가 아니면 지원 범위부터 확인하세요: Kokoro는 한국어를 지원하지 않고, Chatterbox도 한국어는 Multilingual V3에서만 됩니다. 발음이 여러 가지인 단어, 고유명사, 외래어는 직접 들어 보고 나서 쓰세요.
  • 버전을 잘 골라야 합니다: Chatterbox의 PyPI 버전은 너무 오래됐고, Chatterbox는 이미 유지보수가 끝나서 어떤 문제는 더 이상 고쳐지지 않습니다.
  • 감정은 참조 음성과 파라미터에 달려 있습니다: 모델은 줄거리를 이해하지 못해서, 이 대사가 농담인지 화난 건지 스스로 알지 못합니다. 대사가 격앙되게 들리길 원한다면 격앙된 말투의 참조 음성을 준비하거나 감정 강도를 높여야 합니다.
  • 결과물은 반드시 확인하세요: 불필요한 말을 덧붙이거나 글자를 빠뜨리고, 시작 부분에 잡음이 생길 수 있습니다. 효과음을 확인할 때처럼 Claude Code나 Codex에 서브에이전트(subagent)를 따로 띄워 독립적으로 확인하게 하면 좋습니다. 먼저 음성 인식으로 음성을 텍스트로 옮긴 뒤 원래 대사와 대조하고, 다르면 다시 생성합니다.

인디 개발자에게 가장 큰 장점: 개발 초기부터 더빙을 넣을 수 있다

지난 글에서 소개한 효과음 도구와 마찬가지로, 오픈소스 TTS의 가장 큰 가치는 개발 초기부터 게임에 더빙을 넣을 수 있다는 것이라고 생각합니다.

개발 초기에는 시나리오가 수시로 바뀝니다. 성우가 녹음을 마친 뒤에 대사를 바꾸면 다시 녹음해야 합니다. 로컬 TTS라면 대사를 고치고 다시 돌리기만 하면 십몇 초면 끝나고, 추가 비용도 없습니다. 시나리오가 확정된 뒤에 성우에게 다시 녹음을 맡길지 정하면 됩니다.

그때쯤이면 대사 길이, 대화창이 떠 있는 시간, 캐릭터의 입 모양이나 동작이 이어지는 시간이 이미 더빙에 맞춰 조정되어 있습니다. 성우 녹음으로 바꿀 때는 같은 이름의 음성 파일만 교체하면 됩니다.

또 하나의 장점은 여러 언어를 지원할 수 있다는 것입니다. 달 기지 웹사이트는 15개 언어로 되어 있습니다. 15개 언어 모두 성우를 섭외하는 건 현실적이지 않지만, Kokoro는 8개 언어, Chatterbox Multilingual V3는 23개 언어를 지원하니 적어도 주요 언어에는 먼저 더빙을 넣을 수 있습니다.

자주 묻는 질문

Kokoro TTS는 한국어를 지원하나요?

지원하지 않습니다. Kokoro가 지원하는 언어는 영어(미국식, 영국식), 일본어, 중국어, 스페인어, 프랑스어, 힌디어, 이탈리아어, 브라질 포르투갈어의 8개입니다. 한국어 음성 합성이 필요하다면 Chatterbox Multilingual V3나 Qwen3-TTS를 쓰세요. 두 모델 모두 한국어를 지원하고, 이 글의 한국어 테스트도 이 두 모델로 했습니다.

Chatterbox TTS는 한국어를 지원하나요?

지원합니다. Multilingual V3가 한국어를 포함한 23개 언어를 읽을 수 있습니다(원본, Turbo, Nano는 영어만). 영어 참조 음성으로 복제할 때는 cfg_weight를 0으로 두면 영어 억양을 막을 수 있습니다. PyPI의 구버전은 문장 끝에서 더 읽는 문제가 있으니 GitHub에서 설치하세요.

무료 AI 목소리 복제는 상업적으로 써도 되나요?

Chatterbox는 MIT 라이선스라 모델은 상업적으로 쓸 수 있습니다. 하지만 복제하는 목소리를 쓸 권리도 있어야 합니다. 예를 들어 내 목소리, 본인의 동의를 받은 목소리, 또는 이 글처럼 Kokoro로 생성한 목소리입니다. 또 모든 출력에는 Perth 워터마크가 들어 있습니다.

ElevenLabs의 무료 대안이 있나요?

게임 대사, 내레이션, 튜토리얼 영상 더빙이 목적이라면 Kokoro와 Chatterbox는 무료이고 상업적으로 쓸 수 있으며 내 컴퓨터에서 돌아가는 오픈소스 대안입니다. 음질과 감정 표현은 아직 ElevenLabs에 못 미치지만, 글자 수로 돈을 낼 필요가 없고 서비스 가격 인상이나 종료를 걱정할 필요도 없습니다.

그래픽카드 없이 오픈소스 TTS를 돌릴 수 있나요?

있습니다. Kokoro와 Chatterbox Nano는 노트북 CPU로 대사 하나를 십몇 초면 생성합니다. Chatterbox의 5억 파라미터 버전은 한 줄에 1~2분이 걸리니 백그라운드에서 일괄로 돌리면 됩니다.

마치며: 노트북 한 대로 게임 캐릭터 더빙하기

예전에는 더빙이 인디 게임을 만들 때 가장 사치스러운 부분이라고 생각했습니다. 성우는 비싸고, 클라우드 TTS는 글자 수로 요금을 매겨서 대사가 많아지면 비용이 만만치 않습니다. Kokoro와 Chatterbox는 그 문턱을 '노트북 한 대, 대사 한 줄, 십몇 초'로 낮춰 줬습니다. 상업적으로 쓸 수 있고, 모델은 내 컴퓨터에 있으니 서비스가 문을 닫을 걱정도 없습니다.

다음 단계는 아서의 더빙을 게임에 넣어서, 대화창이 뜰 때 정말로 말하게 만드는 것입니다.

이 글은 오픈소스 TTS를 훑어본 글이고, 이어서 Kokoro, Chatterbox, Qwen3-TTS, Step Audio EditX, VoiceStudio를 한 편씩 따로 다루면서 설치 방법, 파라미터 설정, 더 많은 테스트 결과를 공유하겠습니다.

여러분은 게임 캐릭터 더빙을 어떻게 하고 계신가요? Threads나 X에서 제 게시물을 찾아 댓글로 이야기 나눠요.