CosyVoice 3 教學:免費開源 AI 聲音克隆,CPU 也能跑
只要 8 秒錄音就能克隆聲音,還會說廣東話、四川話。沒有顯示卡也能用 CPU 跑,實測安裝、聲音克隆與方言指令。

我在上一篇〈免費 AI 配音可商用〉比較了幾個開源 TTS(文字轉語音)模型,並預告之後會一個一個詳細介紹。這篇介紹的是 CosyVoice 3:只要一段 8 秒的錄音,它就能用那個人的聲音念出新的句子,還會說廣東話、四川話這些方言。
我的筆電沒有 NVIDIA 顯示卡,只用 CPU 就能跑,一句台詞大約兩分鐘,適合一次排好整批台詞,讓它在背景慢慢跑。如果你的電腦有 Intel 內顯,還可以用內顯加速,快了大約 5 倍。這篇記錄完整的安裝過程和踩到的坑,也用我自己的聲音實際示範聲音克隆。
CosyVoice 3 是什麼?可以商用嗎?
CosyVoice 是阿里巴巴開源的語音生成模型(原始碼的版權標示是 Alibaba Inc.),目前開源的最新版是 2025 年 12 月釋出的 Fun-CosyVoice3-0.5B-2512。以下資料來自 Hugging Face 模型頁,查詢日期 2026-11-21:
項目 | 內容 |
|---|---|
參數量 | 0.5B(5 億) |
授權 | Apache-2.0,可以商用 |
語言 | 中文、英文、日文、韓文、德文、西班牙文、法文、義大利文、俄文,共 9 種 |
中文方言 | 18 種以上,例如廣東話、閩南話、四川話、東北話、上海話 |
聲音克隆 | 給一段參考聲音就能克隆,也能跨語言(中文的聲音念英文) |
指令控制 | 用一句話指定方言、語速、音量、情緒 |
官方的評測表中,CosyVoice 3 在中文測試集的錯字率(CER)比上一代 CosyVoice 2 低,聲音相似度也比較高。
CosyVoice 3.5 有開源嗎?
沒有。阿里巴巴在 2026 年 3 月發表了 CosyVoice 3.5,但目前只能透過阿里雲百煉(Model Studio)的 API 使用,而且只開放北京區域。到 2026-11-21 為止,Hugging Face 上沒有 3.5 的權重,GitHub 上也有使用者在 issue 詢問會不會開源,官方沒有回覆。想在自己的電腦上跑,又需要商用授權,目前可以用 3.0。
另外,CosyVoice 的 GitHub 已經從 FunAudioLLM/CosyVoice 搬到 QwenAudio/CosyVoice,舊網址會自動轉過去。
電腦需求:沒有 NVIDIA 顯示卡能跑嗎?
可以,只是比較慢。我的筆電是 Intel Core Ultra 5 322(6 核心),顯示晶片是 Panther Lake 內顯,沒有獨立顯示卡。同一句約 8 秒的中文台詞:
用什麼跑 | 生成時間 | 耗時倍率(越小越快) |
|---|---|---|
CPU(6 核心) | 115 秒 | 15.6 |
Intel 內顯(PyTorch XPU) | 21.5 秒 | 2.5 |
另外載入模型需要約 12 秒。用內顯一次生成一批台詞時,模型只載入一次,一句 4~6 秒的台詞大約 15~30 秒完成。
官方的安裝方式是為 NVIDIA 顯示卡(CUDA)設計的。用 Intel 內顯要多做幾個步驟,後面會說明。
CosyVoice 3 安裝教學(CPU 版)
我的環境是 Linux(Arch),Python 用 uv 管理。
1. 下載程式碼
mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repo一定要加 --recursive,因為它用到的 Matcha-TTS 是子模組。
2. 建立環境、安裝套件
官方的 requirements.txt 裡有 CUDA 版的 PyTorch、TensorRT、DeepSpeed;我的筆電沒有 NVIDIA 顯示卡,用不到這些套件。我只裝實際需要的套件,並指定 CPU 版的 PyTorch:
uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
--index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
"torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hub這裡踩了三個坑:
openai-whisper編譯失敗:它的安裝程式需要pkg_resources,新版 setuptools 已經拿掉了。先裝setuptools<81,再讓它不要在隔離環境裡編譯(--no-build-isolation-package)。- 少裝
lightning、rich,模型會載入失敗:模型設定檔會用到這兩個套件,所以也要一起裝。 no frontend is avaliable訊息:文字正規化套件 wetext 要從 ModelScope 下載資料,我這裡被拒絕(403)。少了它還是能生成,CosyVoice 3 本身也能處理一般的數字和符號,後面有實測。
3. 下載模型(可以省下 4 GB)
模型完整下載約 9.8 GB,但這次安裝用不到其中幾個檔案,可以跳過:
from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
local_dir="models/Fun-CosyVoice3-0.5B",
ignore_patterns=["flow.decoder.estimator.fp32.onnx", # TensorRT 用
"speech_tokenizer_v3.batch.onnx", # 批次推論用
"llm.rl.pt"]) # 強化學習版,預設不載入下載後是 5.1 GB。
4. 生成第一句
CosyVoice 3 的提示詞有固定格式:前面要加上 You are a helpful assistant.<|endofprompt|>。照官方的 example.py 改寫:
import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"
# 聲音克隆:參考音檔 + 參考音檔的逐字稿
out = m.inference_zero_shot("要念的台詞", SYS + "參考音檔念的內容", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)三種主要用法:
函式 | 用途 |
|---|---|
| 聲音克隆,最像。要提供參考音檔的逐字稿 |
| 不需要逐字稿,適合跨語言,例如用中文的聲音念英文 |
| 用一句話指定方言、語速、情緒。指令的格式見下方 |
指令要寫成 "You are a helpful assistant. 请用广东话表达。<|endofprompt|>" 這樣:前面同樣是那句固定開頭,中間是指令,最後接 <|endofprompt|>。
我把這些包成一個指令,放在 ~/tools/cosyvoice/,每個專案都能直接呼叫。
進階:用 Intel 內顯加速 5 倍(PyTorch XPU)
PyTorch 支援 Intel 顯示晶片的後端叫 XPU。CosyVoice 用的 PyTorch 2.3.1 還沒有 XPU,所以我另外建了一個環境,CPU 版的環境保留不動。
1. 安裝 Intel 的運算驅動
一般桌面系統只裝了顯示用的驅動,要讓 PyTorch 用顯示晶片做運算,還要裝 Intel 的運算驅動(Level Zero)。Arch Linux:
sudo pacman -S intel-compute-runtime2. 安裝 XPU 版 PyTorch
uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"印出 True Intel(R) Graphics 就代表抓到內顯了。我裝到的是 PyTorch 2.14.1。
接著把前面列出的套件裝進這個環境,並加上 -c,指定套件版本限制檔。檔案裡要寫明目前安裝的 torch 版本,避免安裝其他套件時,torch 被換成非 XPU 版。
3. 移除衝突的 triton
裝完後 import transformers 失敗,錯誤訊息是 cannot import name 'make_tensordesc_args'。原因是 openai-whisper 順便裝了舊版的 triton,蓋掉了 XPU 版 PyTorch 需要的 triton-xpu。移除舊版,再重裝 triton-xpu 就好:
VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
--index-url https://download.pytorch.org/whl/xpu triton-xpu4. 把模型搬到內顯
CosyVoice 的程式只認 CUDA:沒有 NVIDIA 顯示卡就自動用 CPU。我沒有改官方的程式碼,而是先在 CPU 載入,再把三個主要網路搬到內顯:
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = dev這樣以後更新官方程式碼也不會衝突。第一次在內顯上跑要先編譯,會多花十幾秒,之後就正常了。
實測一:用我自己的聲音示範聲音克隆
我用手機錄了一段 8 秒的聲音,當作克隆的參考。
聲明:本文所有示範音檔都是作者 Terry L 本人的聲音,以及用本人聲音克隆的結果。版權所有,請勿下載、轉載,或用在其他地方(包括拿去克隆)。
下面這句我從來沒有念過,是 CosyVoice 3 用上面那段錄音和它的逐字稿克隆出來的:
我覺得生成的聲音和自己非常像。
跨語言克隆:同一段中文錄音,也能拿來念英文、日文,或用廣東話說:
英文、日文和廣東話這幾段,我另外用語音辨識(Whisper)轉回文字比對,內容都正確,沒有多念或漏字。
參考錄音怎麼錄?
- 長度 5~10 秒就夠。我也試過 20 秒的參考,生成時間變成 2~3 倍。
- 安靜、只有一個人說話:背景音樂和雜音也會被克隆進去。
- 要附逐字稿:用
inference_zero_shot時,逐字稿要跟錄音內容一字不差。不知道內容的話,可以先用 Whisper 轉文字,或改用inference_cross_lingual。 - 錄音音量太小時先調大:我的手機錄音平均音量只有 -31 dB,所以我先剪掉頭尾的靜音、調整音量,再拿去克隆。
語氣和快慢也會被克隆
CosyVoice 3 克隆的不只是音色,語速、語氣、音高的起伏都會跟著參考錄音走。用 inference_zero_shot 時,參考錄音和逐字稿會被當成「前面已經說過的話」,模型接著往下說,所以會延續同一種說話方式。
實測時,我的原始錄音每秒約念 4.3 個字,上面那句克隆出來的中文每秒約 4.4 個字,語速很接近。不過不是每次都這麼一致:同一句換一個 seed,就慢到每秒 3.6 個字;亞瑟那句克隆台詞則比參考錄音快了一些。所以重要的台詞最好多生成幾個版本再挑。
這代表:
- 想要什麼語氣,就錄什麼語氣:要生氣的台詞,就錄一段生氣的參考;要溫柔、慢慢說,參考也要慢慢念。同一個角色可以準備好幾段參考,例如平常、激動、悄悄話各一段。
- 參考錄音的缺點也會被複製:念得太快、太平淡,或有回音、雜音,克隆出來也一樣。
- 想微調時有三種做法:用
speed參數直接調快調慢;用inference_instruct2下指令,例如「请用尽可能慢地语速说一句话。」;或改用inference_cross_lingual。
從原始碼可以看到,inference_cross_lingual 不會把參考錄音交給負責決定節奏的語言模型,參考錄音只用來決定音色,所以比較不會照著錄音的節奏念。
實測二:幫機器人酒保亞瑟配音
網站首頁的 3D 月球基地裡有一間酒吧,酒保是機器人亞瑟。這個角色是為了向電影《星際過客》(Passengers,2016)裡的仿生人酒保亞瑟致敬,有幾句台詞也改寫自電影。電影中的亞瑟由麥可·辛飾演,這裡刻意不模仿他的聲音。
這一節繼續用我自己的聲音(同一段 8 秒錄音)念亞瑟的台詞,測試多音字和跨語言。
「行業」的「行」念成 háng,念對了。上一篇的 Qwen3-TTS 用繁體輸入會把它念錯,CosyVoice 3 直接用繁體就沒問題。
如果多音字念錯,CosyVoice 3 可以直接在台詞裡寫拼音,例如把「行業」寫成 [h][áng]業,就會照拼音念。英文單字也能用 CMU 音標指定念法。
我實際就遇到一次:後面「呼吸聲和笑聲標籤」那句台詞,第一次生成時「尷尬」的「尷」念錯了。把台詞裡的「尷」改寫成 [g][ān],重新生成就念對了。
後來我又試了一次:不加拼音,只把「尷」改成簡體的「尴」,也念對了。所以 CosyVoice 3 不需要像 Qwen3-TTS 那樣整句轉簡體。文章裡的繁體台詞大多都念得對,會出錯的多半是「尷」這種繁簡寫法不同、又比較少見的字。台詞照樣用繁體寫,聽到哪個字念錯,再把那個字改成簡體或拼音就好。
日文要先轉成片假名
官方範例特別註明:日文要先轉成片假名再輸入。我兩種都試了,用漢字和平假名輸入,語音辨識轉回來的內容差很多,有些詞念錯;改成片假名就正確了。
做日文配音時,可以請 AI 程式助手先把台詞轉成片假名,再交給 CosyVoice。
實測三:用指令控制方言、情緒和語速
inference_instruct2 可以用一句話下指令。官方程式碼裡列出了支援的指令,包括 17 種方言,以及音量、語速、情緒和「用機器人的方式」說話等指令。
指令要用簡體中文或英文寫,不要用繁體。官方列出的指令大多是簡體中文,音量的兩句則是英文(「Please say a sentence as loudly as possible.」「Please say a sentence in a very soft voice.」)。
我用同一句台詞試了「最慢語速」的三種寫法:
指令 | 台詞長度 |
|---|---|
不下指令 | 約 4~5 秒 |
簡體「请用尽可能慢地语速说一句话。」 | 8.2 秒 |
英文「Please say a sentence as slowly as possible.」 | 8.5 秒 |
繁體「請用盡可能慢地語速說一句話。」 | 5.3 秒 |
簡體和英文都明顯放慢,繁體幾乎沒有效果。廣東話的指令改成繁體後,咬字也變差了。英文指令不在官方清單裡,照樣有用,所以不會寫簡體的話,用英文下指令就好。台詞本身用繁體則沒有問題。
下面都用我的聲音,台詞是「歡迎來到月球基地的酒吧。今天想喝點什麼?」:
廣東話的台詞要用粵語的寫法(嚟、嘅、啲、咩),語音辨識轉回來的內容才完全正確。
CosyVoice 能說台語嗎?
官方列出的方言有「閩南話」。我用同一句華語台詞,加上「请用闽南话表达。」的指令:
我聽了覺得完全不像台語,語調也都不對。
官方寫的是「閩南話」,跟台灣的台語在用詞和腔調上本來就不完全一樣。想做台語配音的話,目前不建議用 CosyVoice 3。
呼吸聲和笑聲標籤
台詞裡可以加 [breath](換氣)、<laughter>…</laughter>(邊笑邊說)、<strong>…</strong>(加重語氣)這類標籤:
老實說,我完全聽不出換氣和笑聲。至少在這次的測試裡,這些標籤沒有明顯的效果,不要太期待。
數字和時間
前面提到,我的環境少了文字正規化套件。測試一句有數字、時間的台詞:
「120 元」「8 折」「23:30」都念對了。就算少了文字正規化套件,CosyVoice 3 也能處理一般的數字和時間。
不過遇到比較複雜的寫法,例如電話號碼、版本號、日期或時間,還是先寫成國字比較保險。時間可以寫成「十一點半」。
CosyVoice 3 跟其他開源 TTS 比起來
跟上一篇介紹的模型相比,CosyVoice 3 的特色是:
- 中文克隆品質比 Chatterbox 中文版好很多:我用同一段參考錄音、同樣的台詞,拿 Chatterbox 中文版做了對照。它念出來很多字咬字不清、念錯,品質很差,要克隆中文聲音的話,可以直接跳過 Chatterbox,不用浪費時間測試。
- 聲音克隆加上指令控制:CosyVoice 3 可以用一句話指定方言、情緒和語速;Kokoro 只能用內建聲音,沒辦法克隆。
- 繁體中文直接輸入:我測的繁體台詞大多念對了,個別念錯的字再改成簡體或拼音,不需要像 Qwen3-TTS 那樣整句轉成簡體。
- 語言比較少:只有 9 種。Chatterbox 的多語版支援 23 種,像越南文、印尼文、土耳其文,CosyVoice 3 都不支援。
- 比 Kokoro 慢很多:Kokoro 在 CPU 上十幾秒就能生成一句;CosyVoice 3 要用內顯才比較實用。
可以克隆別人的聲音嗎?
技術上,任何人的聲音只要有一段乾淨的錄音就能克隆,而且效果很好。正因為如此,只克隆自己的聲音,或已經取得對方同意的聲音。名人的聲音受人格權保護;用別人的聲音說他沒說過的話,也可能涉及詐騙或誹謗。
CosyVoice 3 的 Apache-2.0 授權允許商用的是模型本身,不代表你可以使用任何人的聲音。我的做法是:用自己的聲音,或用 Kokoro 這類開源模型的內建聲音生成角色的原聲,再拿來克隆。
常見問題
CosyVoice 3 可以商用嗎?
可以。Fun-CosyVoice3-0.5B-2512 採用 Apache-2.0 授權,可以商用。但參考聲音必須是你自己的,或已經取得對方同意。
CosyVoice 3 支援繁體中文嗎?
支援。我直接用繁體中文輸入,測的台詞大多念對了。個別字念錯時,可以改成簡體,或在台詞裡用 [h][áng] 這種拼音標記指定念法。
CosyVoice 3 會說台語、廣東話嗎?
廣東話可以,台詞用粵語寫法(嚟、嘅、啲)效果最好。官方方言清單裡有「閩南話」,但我實測聽起來不像台語,語調也不對,目前不適合拿來做台語配音。
沒有 NVIDIA 顯示卡可以跑 CosyVoice 3 嗎?
可以。用 CPU 跑,一句 8 秒的台詞要將近兩分鐘;改用 Intel 內顯(PyTorch XPU)約 20 秒。要先安裝 Intel 的運算驅動和 XPU 版 PyTorch。
CosyVoice 3.5 有開源嗎?
到 2026-11-21 為止還沒有。CosyVoice 3.5 只能透過阿里雲百煉的 API 使用,Hugging Face 上沒有它的權重。
聲音克隆的參考錄音要多長?
5~10 秒就夠。錄音要安靜、只有一個人說話,並附上一字不差的逐字稿。參考越長,生成越慢。
結語:8 秒錄音就能做出自己的配音
CosyVoice 3 讓我第一次覺得,用自己的聲音幫遊戲或影片配音是可行的:錄 8 秒,之後的台詞都交給模型念,還能換成英文、日文或廣東話。沒有 NVIDIA 顯示卡也沒關係,CPU 就能跑;有 Intel 內顯的話,還能再快 5 倍。
