2026 가을 · 고요의 기지에서
달 스튜디오 둘러보기 ↗
AI 도구

CosyVoice 3 사용법: 무료 AI 보이스 클로닝, CPU로도 실행

8초 녹음만으로 내 목소리를 AI로 복제해 한국어로도 말하게 합니다. 그래픽카드 없이 CPU로 실행하는 무료 보이스 클로닝의 설치 과정과 실측 결과.

달 기지의 녹음실에서 우주비행사가 마이크에 대고 말하고, 세 갈래의 알록달록한 음파가 로봇 바텐더와 스피커, 노트북 쪽으로 흘러간다
달 기지의 녹음실에서 우주비행사가 마이크에 대고 말하고, 세 갈래의 알록달록한 음파가 로봇 바텐더와 스피커, 노트북 쪽으로 흘러간다

지난 글 무료 TTS로 게임 AI 더빙에서 오픈소스 TTS(텍스트 음성 변환) 모델 몇 가지를 비교하면서, 앞으로 하나씩 자세히 다루겠다고 했습니다. 이번에 소개할 모델은 CosyVoice 3입니다. 8초짜리 녹음 하나만 있으면 그 사람의 목소리로 새로운 문장을 말해 주고, 광둥어나 쓰촨어 같은 중국어 방언으로도 말할 수 있습니다.

제 노트북에는 NVIDIA 그래픽카드가 없지만 CPU만으로도 돌아갑니다. 대사 한 줄에 2분 정도 걸리니, 대사를 한꺼번에 준비해 두고 백그라운드에서 천천히 돌리는 용도에 맞습니다. 컴퓨터에 Intel 내장 그래픽이 있다면 내장 그래픽으로 가속할 수 있고, 약 5배 빨라집니다. 이 글에는 전체 설치 과정과 제가 겪은 문제들, 그리고 제 목소리로 직접 해 본 보이스 클로닝 결과를 담았습니다.

CosyVoice 3란? 상업적으로 써도 될까?

CosyVoice는 알리바바가 오픈소스로 공개한 음성 생성 모델입니다(소스 코드의 저작권 표기는 Alibaba Inc.). 현재 공개된 최신 버전은 2025년 12월에 나온 Fun-CosyVoice3-0.5B-2512입니다. 아래 정보는 Hugging Face 모델 페이지에서 2026-11-21에 확인한 내용입니다.

항목

내용

파라미터 수

0.5B(5억)

라이선스

Apache-2.0, 상업적 이용 가능

언어

중국어, 영어, 일본어, 한국어, 독일어, 스페인어, 프랑스어, 이탈리아어, 러시아어 등 9개

중국어 방언

18종 이상(광둥어, 민난어, 쓰촨어, 둥베이어, 상하이어 등)

보이스 클로닝

참조 음성 하나로 복제 가능, 언어를 넘나드는 복제도 가능(중국어 목소리로 영어 말하기 등)

지시문 제어

한 문장으로 방언, 말 속도, 음량, 감정 지정

공식 평가표에서 CosyVoice 3는 중국어 테스트 세트의 문자 오류율(CER)이 이전 세대인 CosyVoice 2보다 낮고, 화자 유사도도 더 높습니다.

CosyVoice 3.5는 오픈소스인가?

아닙니다. 알리바바는 2026년 3월에 CosyVoice 3.5를 발표했지만, 지금은 알리바바 클라우드 Model Studio의 API로만 쓸 수 있고 그마저도 베이징 리전에서만 열려 있습니다. 2026-11-21 기준으로 Hugging Face에는 3.5의 가중치가 없고, GitHub에서 한 사용자가 issue로 오픈소스 계획을 물었지만 공식 답변은 없습니다. 내 컴퓨터에서 돌리면서 상업용 라이선스도 필요하다면, 지금은 3.0을 쓰면 됩니다.

참고로 CosyVoice의 GitHub 저장소는 FunAudioLLM/CosyVoice에서 QwenAudio/CosyVoice로 옮겨졌습니다. 예전 주소로 들어가면 자동으로 넘어갑니다.

사양: NVIDIA 그래픽카드 없이도 돌아갈까?

돌아갑니다. 다만 느립니다. 제 노트북에는 Intel Core Ultra 5 322(6코어)와 Panther Lake 내장 그래픽이 탑재되어 있고, 외장 그래픽카드는 없습니다. 약 8초 길이의 같은 중국어 대사로 비교했습니다.

실행 장치

생성 시간

소요 시간 배율(작을수록 빠름)

CPU(6코어)

115초

15.6

Intel 내장 그래픽(PyTorch XPU)

21.5초

2.5

이와 별도로 모델을 불러오는 데 약 12초가 걸립니다. 내장 그래픽으로 대사를 한꺼번에 생성하면 모델은 한 번만 불러오고, 4~6초짜리 대사 한 줄이 15~30초 정도면 끝납니다.

공식 설치 안내는 NVIDIA 그래픽카드(CUDA)를 기준으로 작성되어 있습니다. Intel 내장 그래픽을 쓰려면 몇 단계가 더 필요한데, 뒤에서 설명합니다.

CosyVoice 3 설치 방법(CPU 버전)

제 환경은 Linux(Arch)이고, Python은 uv로 관리합니다.

1. 코드 내려받기

mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repo

--recursive는 꼭 붙이세요. 의존하는 Matcha-TTS가 서브모듈이기 때문입니다.

2. 환경 만들고 패키지 설치하기

공식 requirements.txt에는 CUDA 버전 PyTorch, TensorRT, DeepSpeed가 들어 있습니다. 제 노트북에는 NVIDIA 그래픽카드가 없어서 모두 쓸 일이 없습니다. 그래서 실제로 필요한 패키지만 골라 설치하고, PyTorch는 CPU 버전으로 지정했습니다.

uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
  --index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
  "torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
  hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
  onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
  soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
  lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
  wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hub

여기서 세 번 막혔습니다.

  • openai-whisper 빌드 실패: 설치 스크립트가 pkg_resources를 필요로 하는데, 새 setuptools에서는 빠졌습니다. 먼저 setuptools<81을 설치하고, 격리된 환경에서 빌드하지 않도록 지정합니다(--no-build-isolation-package).
  • lightning, rich가 없으면 모델 로딩 실패: 모델 설정 파일이 이 두 패키지를 쓰기 때문에 함께 설치해야 합니다.
  • no frontend is avaliable 메시지: 제 환경에서는 텍스트 정규화 패키지 wetext가 ModelScope에서 데이터를 내려받으려다 요청이 거부됐습니다(403). 이 패키지가 없어도 음성 생성은 가능하고, CosyVoice 3 자체가 일반적인 숫자와 기호를 처리할 수 있습니다. 뒤에서 직접 테스트합니다.

3. 모델 내려받기(4GB 절약)

모델 전체를 내려받으면 약 9.8GB지만, 이번 설치에서 쓰지 않는 파일이 몇 개 있어서 건너뛸 수 있습니다.

from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
    local_dir="models/Fun-CosyVoice3-0.5B",
    ignore_patterns=["flow.decoder.estimator.fp32.onnx",   # TensorRT용
                     "speech_tokenizer_v3.batch.onnx",      # 배치 추론용
                     "llm.rl.pt"])                          # 강화학습 버전, 기본적으로 불러오지 않음

내려받고 나면 5.1GB입니다.

4. 첫 문장 생성하기

CosyVoice 3의 프롬프트에는 정해진 형식이 있어서, 앞에 You are a helpful assistant.<|endofprompt|>를 붙여야 합니다. 공식 example.py를 바탕으로 고쳐 썼습니다.

import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"

# 보이스 클로닝: 참조 음성 + 참조 음성의 전사문
out = m.inference_zero_shot("읽을 대사", SYS + "참조 음성에서 말한 내용", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)

주요 사용법은 세 가지입니다.

함수

용도

inference_zero_shot(대사, SYS+받아쓰기, 참조 음성)

보이스 클로닝. 원래 목소리와 가장 비슷하며, 참조 음성의 전사문이 필요

inference_cross_lingual(SYS+대사, 참조 음성)

전사문 불필요. 중국어 목소리로 영어를 말하는 등 다른 언어로 음성을 생성할 때 적합

inference_instruct2(대사, 지시문, 참조 음성)

한 문장으로 방언, 말 속도, 감정 지정. 지시문 형식은 아래 참고

지시문은 "You are a helpful assistant. 请用广东话表达。<|endofprompt|>"처럼 씁니다. 앞에는 같은 고정 문구, 가운데에 지시문, 마지막에 <|endofprompt|>를 붙입니다.

저는 이것들을 명령어 하나로 묶어 ~/tools/cosyvoice/에 두고, 어느 프로젝트에서든 바로 불러 씁니다.

심화: Intel 내장 그래픽으로 5배 빠르게(PyTorch XPU)

PyTorch에서 Intel 그래픽을 쓰는 백엔드를 XPU라고 합니다. CosyVoice가 쓰는 PyTorch 2.3.1에는 아직 XPU가 없어서, 별도의 환경을 하나 더 만들고 CPU 버전 환경은 그대로 두었습니다.

1. Intel 컴퓨트 런타임 설치

일반적인 데스크톱 시스템에는 화면 표시용 드라이버만 깔려 있습니다. PyTorch가 그래픽 칩으로 연산을 하게 하려면 Intel 컴퓨트 런타임(Level Zero)도 설치해야 합니다. Arch Linux에서는 이렇게 합니다.

sudo pacman -S intel-compute-runtime

2. XPU 버전 PyTorch 설치

uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"

True Intel(R) Graphics가 출력되면 내장 그래픽이 인식된 겁니다. 제 환경에 설치된 버전은 PyTorch 2.14.1이었습니다.

이어서 앞에서 나열한 패키지를 이 환경에 설치하되, -c로 버전 제약 파일을 지정합니다. 파일에는 지금 설치된 torch 버전을 적어 두세요. 그래야 다른 패키지를 설치할 때 torch가 XPU가 아닌 버전으로 바뀌지 않습니다.

3. 충돌하는 triton 제거

설치 후 import transformers가 cannot import name 'make_tensordesc_args' 오류로 실패했습니다. 원인은 openai-whisper가 구버전 triton을 같이 설치하면서, XPU 버전 PyTorch에 필요한 triton-xpu를 덮어쓴 것이었습니다. 구버전을 지우고 triton-xpu를 다시 설치하면 해결됩니다.

VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
  --index-url https://download.pytorch.org/whl/xpu triton-xpu

4. 모델을 내장 그래픽으로 옮기기

CosyVoice 코드는 CUDA만 인식해서, NVIDIA 그래픽카드가 없으면 자동으로 CPU를 씁니다. 저는 공식 코드를 고치지 않고, 먼저 CPU에서 불러온 다음 주요 네트워크 세 개를 내장 그래픽으로 옮겼습니다.

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
    getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = dev

이렇게 하면 나중에 공식 코드를 업데이트해도 충돌하지 않습니다. 내장 그래픽에서 처음 돌릴 때는 컴파일 때문에 십여 초가 더 걸리지만, 그다음부터는 정상적으로 돌아갑니다.

테스트 1: 내 목소리로 보이스 클로닝 해 보기

휴대폰으로 제 목소리를 8초 동안 녹음해서 복제용 참조 음성으로 썼습니다.

안내: 이 글의 모든 음성 샘플은 글쓴이 Terry L 본인의 목소리이거나, 본인 목소리를 복제한 결과입니다. 저작권은 저에게 있으며, 다운로드·재배포나 다른 곳에서의 사용(복제용으로 쓰는 것 포함)을 금합니다.
제가 직접 녹음한 원본(8초, 중국어): "歡迎大家來到我的月球基地。我的文章記錄我對於各種工具的測試,希望對您有幫助。"(제 달 기지에 오신 것을 환영합니다. 여러 도구를 테스트한 기록을 쓰고 있으니 도움이 되면 좋겠습니다.) 저작권 소유, 다른 곳에 사용 금지

아래 문장은 제가 한 번도 말한 적이 없습니다. 위 녹음을 바탕으로 CosyVoice 3가 한국어로 만들어 낸 것입니다.

복제한 제 목소리: "이 문장은 CosyVoice 3가 제 목소리 8초 녹음으로 만든 것입니다. 저는 이 말을 한 적이 없습니다." 저작권 소유, 다른 곳에 사용 금지

제가 듣기에도 생성된 목소리가 제 목소리와 정말 비슷했습니다.

언어를 넘나드는 복제: 위의 한국어 문장도 사실 중국어 녹음을 바탕으로 언어를 바꿔 생성한 결과입니다. 같은 중국어 녹음으로 영어와 일본어, 광둥어도 말할 수 있습니다.

복제한 제 목소리로 영어: "This sentence was generated by CosyVoice 3 from an eight-second clip of my voice. I never actually said it." 저작권 소유, 다른 곳에 사용 금지
복제한 제 목소리로 일본어(가타카나로 입력): "この声は、私の8秒の録音から作られました。"(이 목소리는 제 8초 녹음으로 만들어졌습니다.) 저작권 소유, 다른 곳에 사용 금지
복제한 제 목소리로 광둥어: "歡迎嚟到我嘅月球基地部落格。"(제 달 기지 블로그에 오신 것을 환영합니다.) 저작권 소유, 다른 곳에 사용 금지

영어, 일본어, 광둥어 음성은 음성 인식(Whisper)으로 다시 텍스트로 변환해 대조해 봤는데, 내용이 모두 정확했고 덧붙이거나 빠뜨린 부분도 없었습니다.

참조 음성은 어떻게 녹음할까?

  • 길이는 5~10초면 충분합니다. 20초짜리 참조 음성도 써 봤는데, 생성 시간이 2~3배로 늘었습니다.
  • 조용한 곳에서 한 사람만 말하기: 배경 음악과 잡음도 함께 복제됩니다.
  • 전사문을 함께 넣기: inference_zero_shot을 쓸 때는 전사문이 녹음 내용과 한 글자도 달라서는 안 됩니다. 내용을 모르면 먼저 Whisper로 전사하거나, inference_cross_lingual을 쓰면 됩니다.
  • 녹음 음량이 너무 작으면 먼저 키우기: 제 휴대폰 녹음은 평균 음량이 -31dB밖에 안 돼서, 앞뒤 무음을 잘라 내고 음량을 조정한 다음 복제에 썼습니다.

말투와 속도도 복제된다

CosyVoice 3가 복제하는 건 음색만이 아닙니다. 말 속도, 말투, 음높이의 변화도 참조 음성을 따라갑니다. inference_zero_shot에서는 참조 음성과 전사문이 '앞에서 이미 한 말'로 취급되고, 모델이 그 뒤를 이어 말하기 때문에 같은 말투가 이어지는 겁니다.

실제로 측정해 보니 제 원본 녹음은 초당 약 4.3자, 복제한 중국어 문장은 초당 약 4.4자로 속도가 매우 비슷했습니다. 다만 매번 이렇게 맞지는 않습니다. 같은 문장도 seed를 바꾸니 초당 3.6자까지 느려졌고, 아서의 복제 대사는 참조 음성보다 조금 빨랐습니다. 중요한 대사는 여러 번 생성해 보고 고르는 게 좋습니다.

정리하면 이렇습니다.

  • 원하는 말투로 녹음하기: 화난 대사가 필요하면 화난 말투로 참조 음성을 녹음하고, 부드럽고 느린 말투가 필요하면 참조 음성도 천천히 읽습니다. 캐릭터 하나에 평소 말투, 흥분한 말투, 속삭이는 말투 등으로 참조 음성을 여러 개 준비해 둘 수도 있습니다.
  • 참조 음성의 단점도 복제된다: 너무 빠르거나 밋밋하게 읽었거나, 울림이나 잡음이 있으면 복제 결과도 똑같습니다.
  • 미세 조정 방법은 세 가지: speed 파라미터로 속도를 직접 조절하거나, inference_instruct2로 "请用尽可能慢地语速说一句话。"(최대한 천천히 말해 줘) 같은 지시를 내리거나, inference_cross_lingual로 바꾸는 방법입니다.

소스 코드를 보면 inference_cross_lingual은 리듬을 정하는 언어 모델에 참조 음성을 넘기지 않습니다. 참조 음성은 음색을 정하는 데만 쓰이기 때문에, 참조 음성의 리듬을 덜 따릅니다.

테스트 2: 로봇 바텐더 아서에게 목소리 입히기

웹사이트 첫 화면은 우주비행사를 조작해 돌아다닐 수 있는 3D 달 기지 미니 게임이고, 기지 안에는 바가 있습니다. 바텐더는 로봇 아서입니다. 영화 〈패신저스〉(Passengers, 2016)에 나오는 안드로이드 바텐더 아서에게 바치는 오마주로, 대사 몇 줄도 영화에서 가져와 다듬었습니다. 영화 속 아서는 마이클 쉰이 연기했지만, 여기서는 일부러 그의 목소리를 흉내 내지 않았습니다.

이번에도 제 목소리(같은 8초 녹음)로 아서의 대사를 읽게 했습니다.

복제한 제 목소리로 한국어: "바텐더는 비밀을 지킵니다. 그것이 이 일의 신성한 신뢰입니다." 저작권 소유, 다른 곳에 사용 금지
언어를 넘나드는 복제: 제 중국어 녹음으로 영어 "A bartender keeps confidence. It's the sacred trust of the craft." 저작권 소유, 다른 곳에 사용 금지

잘못 읽는 단어가 있으면 대사 안에서 바로 고칠 수 있습니다. 중국어의 다음자(발음이 여러 개인 한자)는 [h][áng]처럼 병음 태그로, 영어 단어는 CMU 발음 기호로 읽는 법을 지정할 수 있습니다.

실제로 한 번 겪었습니다. 뒤에 나오는 '숨소리와 웃음소리 태그' 대사에서, 처음 생성했을 때 '尷'이라는 글자를 잘못 읽었습니다. 대사의 '尷'을 [g][ān]으로 바꿔 다시 생성하니 제대로 읽었습니다.

일본어는 먼저 가타카나로 바꾸기

공식 예제에 분명히 적혀 있습니다. 일본어는 가타카나로 바꾼 뒤 입력하라는 것입니다. 두 가지 방법을 다 해 보니, 한자와 히라가나로 입력하면 음성 인식으로 변환한 텍스트이 꽤 달랐고 잘못 읽은 단어도 있었습니다. 가타카나로 바꾸자 정확해졌습니다.

일본어를 그대로 입력: "バーテンダーは秘密を守るものです。それがこの仕事の神聖な信頼です。" 음성 인식으로 변환한 텍스트에서 여러 단어가 틀렸습니다. 저작권 소유, 다른 곳에 사용 금지
같은 문장을 가타카나로 입력: "バーテンダー ワ ヒミツ オ マモル モノ デス……" 음성 인식으로 변환한 텍스트이 정확했습니다. 저작권 소유, 다른 곳에 사용 금지

일본어 더빙을 할 때는 AI 코딩 도우미에게 대사를 먼저 가타카나로 바꿔 달라고 한 다음 CosyVoice에 넘기면 됩니다.

테스트 3: 지시문으로 방언, 감정, 말 속도 조절하기

inference_instruct2에서는 한 문장으로 지시를 내릴 수 있습니다. 공식 코드에는 지원하는 지시문이 나열되어 있는데, 17가지 방언과 음량, 말 속도, 감정, '로봇처럼' 말하기 같은 지시가 있습니다.

지시문은 간체 중국어나 영어 둘 다 됩니다. 공식 지시문은 대부분 간체 중국어이고, 음량 관련 두 문장만 영어입니다("Please say a sentence as loudly as possible.", "Please say a sentence in a very soft voice.").

같은 대사에 '최대한 느리게'라는 지시를 세 가지 방식으로 내려 봤습니다.

지시문

대사 길이

지시 없음

약 4~5초

간체 "请用尽可能慢地语速说一句话。"

8.2초

영어 "Please say a sentence as slowly as possible."

8.5초

번체 "請用盡可能慢地語速說一句話。"

5.3초

간체와 영어는 둘 다 확실히 느려졌고, 번체는 거의 효과가 없었습니다. 영어 지시문은 공식 목록에 없는데도 잘 작동합니다. 중국어를 모른다면 영어로 지시하면 됩니다.

아래는 모두 제 목소리이고, 대사는 "歡迎來到月球基地的酒吧。今天想喝點什麼?"(달 기지 바에 오신 걸 환영합니다. 오늘은 뭘 드릴까요?)입니다.

지시문 "你可以尝试用机器人的方式解答吗?"(로봇처럼 대답해 볼래?): 로봇 같은 말투로, 아서에게 딱 맞습니다. 저작권 소유, 다른 곳에 사용 금지
지시문 "请非常开心地说一句话。"(아주 신나게 말해 줘) 저작권 소유, 다른 곳에 사용 금지
지시문 "请用尽可能慢地语速说一句话。"(최대한 천천히 말해 줘): 같은 문장이 8초로 늘었습니다. 저작권 소유, 다른 곳에 사용 금지
지시문 "请用广东话表达。"(광둥어로 말해 줘), 대사는 광둥어 표기로: "歡迎嚟到月球基地嘅酒吧。今日想飲啲咩?" 저작권 소유, 다른 곳에 사용 금지
지시문 "请用四川话表达。"(쓰촨어로 말해 줘) 저작권 소유, 다른 곳에 사용 금지

광둥어 대사는 광둥어 표기(嚟, 嘅, 啲, 咩)로 써야 음성 인식으로 변환한 텍스트이 완전히 정확했습니다.

CosyVoice는 민난어(호키엔)도 할까?

공식 방언 목록에는 민난어(Minnan/Hokkien)가 있습니다. 같은 대사에 "请用闽南话表达。"라고 지시해 봤지만, 제 귀에는 Taiwanese Hokkien과 전혀 다르게 들렸고 억양도 맞지 않았습니다.

지시문 "请用闽南话表达。"(민난어로 말해 줘) 저작권 소유, 다른 곳에 사용 금지

숨소리와 웃음소리 태그

대사에 [breath](숨 쉬기), <laughter>…</laughter>(웃으면서 말하기), <strong>…</strong>(강조) 같은 태그를 넣을 수 있습니다.

"如果我不擦杯子,[breath]我就非得找話聊不可。<laughter>那樣一來,客人都會覺得很[g][ān]尬。</laughter>"(잔을 닦지 않으면 대화를 해야 하거든요. 그러면 손님들이 다 어색해할 거예요.) 저작권 소유, 다른 곳에 사용 금지

솔직히 숨소리도 웃음소리도 전혀 들리지 않았습니다. 적어도 이번 테스트에서는 태그에 뚜렷한 효과가 없었으니, 너무 기대하지는 마세요.

숫자와 시간

앞에서 말했듯이 제 환경에는 텍스트 정규화 패키지가 없습니다. 숫자와 시간이 들어간 대사로 테스트했습니다.

"一杯特調 120 元,第 2 杯打 8 折,營業到 23:30。"(시그니처 칵테일 한 잔 120, 두 번째 잔은 20% 할인, 23:30까지 영업) 저작권 소유, 다른 곳에 사용 금지

'120 元', '8 折'(20% 할인), '23:30'을 모두 제대로 읽었습니다. 텍스트 정규화 패키지가 없어도 CosyVoice 3는 일반적인 숫자와 시간을 처리할 수 있습니다.

그래도 전화번호, 버전 번호, 날짜나 시간처럼 조금 복잡한 표기는 미리 글자로 풀어 쓰는 편이 안전합니다. 중국어라면 시간은 '十一點半'(11시 반)처럼 쓰면 됩니다.

CosyVoice 3와 다른 오픈소스 TTS 비교

지난 글에서 소개한 모델들과 비교하면 CosyVoice 3의 특징은 이렇습니다.

  • 중국어 보이스 클로닝 품질이 Chatterbox 중국어 버전보다 훨씬 낫다: 같은 참조 음성, 같은 대사로 Chatterbox 중국어 버전과도 비교해 봤습니다. 발음이 뭉개지거나 잘못 읽은 글자가 많아 품질이 매우 낮았습니다. 중국어 목소리를 복제하려면 Chatterbox는 건너뛰고 시간을 아끼세요.
  • 보이스 클로닝에 지시문 제어까지: CosyVoice 3는 한 문장으로 방언, 감정, 말 속도를 지정할 수 있습니다. Kokoro는 기본 제공 음성만 쓸 수 있고 보이스 클로닝은 지원하지 않습니다.
  • 잘못 읽은 글자만 고치면 된다: 병음 태그로 그 글자만 고칠 수 있어서, Qwen3-TTS처럼 대사 전체를 간체로 바꿀 필요가 없습니다.
  • 지원 언어가 적다: 9개뿐입니다. Chatterbox 다국어 버전은 23개를 지원하는데, 베트남어, 인도네시아어, 튀르키예어 같은 언어는 CosyVoice 3가 지원하지 않습니다.
  • Kokoro보다 훨씬 느리다: Kokoro는 CPU에서도 십여 초면 한 문장을 만듭니다. CosyVoice 3는 내장 그래픽을 써야 실용적입니다.

남의 목소리를 복제해도 될까?

기술적으로는 깨끗한 녹음만 있으면 누구의 목소리든 복제할 수 있고, 결과도 꽤 좋습니다. 그렇기 때문에 자기 목소리나 당사자의 동의를 받은 목소리만 복제해야 합니다. 유명인의 목소리는 인격권으로 보호받고, 남의 목소리로 그 사람이 하지 않은 말을 하게 하면 사기나 명예훼손이 될 수도 있습니다.

CosyVoice 3의 Apache-2.0 라이선스가 상업적 이용을 허락하는 대상은 모델 자체일 뿐, 아무 목소리나 써도 된다는 뜻은 아닙니다. 저는 제 목소리를 쓰거나, Kokoro 같은 오픈소스 모델의 기본 제공 음성으로 캐릭터의 목소리를 만든 다음 그것을 복제합니다.

자주 묻는 질문

CosyVoice 3는 상업적으로 써도 되나요?

됩니다. Fun-CosyVoice3-0.5B-2512는 Apache-2.0 라이선스라서 상업적 이용이 가능합니다. 다만 참조 음성은 본인 목소리이거나 당사자의 동의를 받은 것이어야 합니다.

CosyVoice3는 한국어를 지원하나요?

지원합니다. 공식 지원 언어 9개에 한국어가 포함되어 있습니다. 위의 한국어 예시도 제 8초짜리 중국어 녹음으로 만든 것입니다.

내 목소리로 AI 보이스 클로닝을 무료로 할 수 있나요?

할 수 있습니다. CosyVoice 3는 무료 오픈소스이고 내 컴퓨터에서 돌아갑니다. 저는 휴대폰으로 녹음한 8초 음성과 그 전사문만으로 제 목소리와 아주 비슷한 복제 음성을 만들었습니다.

NVIDIA 그래픽카드 없이 목소리 복제 AI를 돌릴 수 있나요?

됩니다. CPU로는 8초짜리 대사 한 줄에 2분 가까이 걸리고, Intel 내장 그래픽(PyTorch XPU)으로는 약 20초입니다. 먼저 Intel 컴퓨트 런타임과 XPU 버전 PyTorch를 설치해야 합니다.

CosyVoice 3.5는 오픈소스인가요?

2026-11-21 기준으로 아직 아닙니다. CosyVoice 3.5는 알리바바 클라우드 Model Studio의 API로만 쓸 수 있고, Hugging Face에는 가중치가 없습니다.

음성 복제용 참조 음성은 얼마나 길어야 하나요?

5~10초면 충분합니다. 조용한 곳에서 한 사람만 말하는 녹음이어야 하고, 녹음 내용과 한 글자도 다르지 않은 전사문을 함께 넣어야 합니다. 참조 음성이 길수록 생성은 느려집니다.

마치며: 8초 녹음으로 만드는 내 목소리 더빙

CosyVoice 3 덕분에 제 목소리로 게임이나 영상을 더빙하는 일이 처음으로 현실적으로 느껴졌습니다. 8초만 녹음하면 이후 대사는 모델이 읽어 주고, 영어나 일본어, 광둥어로도 바꿀 수 있습니다. NVIDIA 그래픽카드가 없어도 CPU로 돌아가고, Intel 내장 그래픽이 있으면 5배 더 빨라집니다.

CosyVoice 3를 써 보셨거나 다른 모델의 테스트가 궁금하다면 Threads나 X에 댓글을 남겨 주세요.