2026 秋 · 發自寧靜基地
走進月球工作室 ↗
terryl.in月球基地日誌 — 一個人在月球工作室的開發筆記
AI 工具

CosyVoice 3 教學:免費開源 AI 聲音克隆,CPU 也能跑

只要 8 秒錄音就能克隆聲音,還會說廣東話、四川話。沒有顯示卡也能用 CPU 跑,實測安裝、聲音克隆與方言指令。

月球基地的錄音室裡,太空人對著麥克風說話,三道彩色聲波飄向機器人酒保、喇叭和筆電
月球基地的錄音室裡,太空人對著麥克風說話,三道彩色聲波飄向機器人酒保、喇叭和筆電

我在上一篇〈免費 AI 配音可商用〉比較了幾個開源 TTS(文字轉語音)模型,並預告之後會一個一個詳細介紹。這篇介紹的是 CosyVoice 3:只要一段 8 秒的錄音,它就能用那個人的聲音念出新的句子,還會說廣東話、四川話這些方言。

我的筆電沒有 NVIDIA 顯示卡,只用 CPU 就能跑,一句台詞大約兩分鐘,適合一次排好整批台詞,讓它在背景慢慢跑。如果你的電腦有 Intel 內顯,還可以用內顯加速,快了大約 5 倍。這篇記錄完整的安裝過程和踩到的坑,也用我自己的聲音實際示範聲音克隆。

CosyVoice 3 是什麼?可以商用嗎?

CosyVoice 是阿里巴巴開源的語音生成模型(原始碼的版權標示是 Alibaba Inc.),目前開源的最新版是 2025 年 12 月釋出的 Fun-CosyVoice3-0.5B-2512。以下資料來自 Hugging Face 模型頁,查詢日期 2026-11-21:

項目

內容

參數量

0.5B(5 億)

授權

Apache-2.0,可以商用

語言

中文、英文、日文、韓文、德文、西班牙文、法文、義大利文、俄文,共 9 種

中文方言

18 種以上,例如廣東話、閩南話、四川話、東北話、上海話

聲音克隆

給一段參考聲音就能克隆,也能跨語言(中文的聲音念英文)

指令控制

用一句話指定方言、語速、音量、情緒

官方的評測表中,CosyVoice 3 在中文測試集的錯字率(CER)比上一代 CosyVoice 2 低,聲音相似度也比較高。

CosyVoice 3.5 有開源嗎?

沒有。阿里巴巴在 2026 年 3 月發表了 CosyVoice 3.5,但目前只能透過阿里雲百煉(Model Studio)的 API 使用,而且只開放北京區域。到 2026-11-21 為止,Hugging Face 上沒有 3.5 的權重,GitHub 上也有使用者在 issue 詢問會不會開源,官方沒有回覆。想在自己的電腦上跑,又需要商用授權,目前可以用 3.0。

另外,CosyVoice 的 GitHub 已經從 FunAudioLLM/CosyVoice 搬到 QwenAudio/CosyVoice,舊網址會自動轉過去。

電腦需求:沒有 NVIDIA 顯示卡能跑嗎?

可以,只是比較慢。我的筆電是 Intel Core Ultra 5 322(6 核心),顯示晶片是 Panther Lake 內顯,沒有獨立顯示卡。同一句約 8 秒的中文台詞:

用什麼跑

生成時間

耗時倍率(越小越快)

CPU(6 核心)

115 秒

15.6

Intel 內顯(PyTorch XPU)

21.5 秒

2.5

另外載入模型需要約 12 秒。用內顯一次生成一批台詞時,模型只載入一次,一句 4~6 秒的台詞大約 15~30 秒完成。

官方的安裝方式是為 NVIDIA 顯示卡(CUDA)設計的。用 Intel 內顯要多做幾個步驟,後面會說明。

CosyVoice 3 安裝教學(CPU 版)

我的環境是 Linux(Arch),Python 用 uv 管理。

1. 下載程式碼

mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repo

一定要加 --recursive,因為它用到的 Matcha-TTS 是子模組。

2. 建立環境、安裝套件

官方的 requirements.txt 裡有 CUDA 版的 PyTorch、TensorRT、DeepSpeed;我的筆電沒有 NVIDIA 顯示卡,用不到這些套件。我只裝實際需要的套件,並指定 CPU 版的 PyTorch:

uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
  --index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
  "torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
  hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
  onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
  soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
  lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
  wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hub

這裡踩了三個坑:

  • openai-whisper 編譯失敗:它的安裝程式需要 pkg_resources,新版 setuptools 已經拿掉了。先裝 setuptools<81,再讓它不要在隔離環境裡編譯(--no-build-isolation-package)。
  • 少裝 lightning、rich,模型會載入失敗:模型設定檔會用到這兩個套件,所以也要一起裝。
  • no frontend is avaliable 訊息:文字正規化套件 wetext 要從 ModelScope 下載資料,我這裡被拒絕(403)。少了它還是能生成,CosyVoice 3 本身也能處理一般的數字和符號,後面有實測。

3. 下載模型(可以省下 4 GB)

模型完整下載約 9.8 GB,但這次安裝用不到其中幾個檔案,可以跳過:

from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
    local_dir="models/Fun-CosyVoice3-0.5B",
    ignore_patterns=["flow.decoder.estimator.fp32.onnx",   # TensorRT 用
                     "speech_tokenizer_v3.batch.onnx",      # 批次推論用
                     "llm.rl.pt"])                          # 強化學習版,預設不載入

下載後是 5.1 GB。

4. 生成第一句

CosyVoice 3 的提示詞有固定格式:前面要加上 You are a helpful assistant.<|endofprompt|>。照官方的 example.py 改寫:

import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"

# 聲音克隆:參考音檔 + 參考音檔的逐字稿
out = m.inference_zero_shot("要念的台詞", SYS + "參考音檔念的內容", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)

三種主要用法:

函式

用途

inference_zero_shot(台詞, SYS+逐字稿, 參考音檔)

聲音克隆,最像。要提供參考音檔的逐字稿

inference_cross_lingual(SYS+台詞, 參考音檔)

不需要逐字稿,適合跨語言,例如用中文的聲音念英文

inference_instruct2(台詞, 指令, 參考音檔)

用一句話指定方言、語速、情緒。指令的格式見下方

指令要寫成 "You are a helpful assistant. 请用广东话表达。<|endofprompt|>" 這樣:前面同樣是那句固定開頭,中間是指令,最後接 <|endofprompt|>。

我把這些包成一個指令,放在 ~/tools/cosyvoice/,每個專案都能直接呼叫。

進階:用 Intel 內顯加速 5 倍(PyTorch XPU)

PyTorch 支援 Intel 顯示晶片的後端叫 XPU。CosyVoice 用的 PyTorch 2.3.1 還沒有 XPU,所以我另外建了一個環境,CPU 版的環境保留不動。

1. 安裝 Intel 的運算驅動

一般桌面系統只裝了顯示用的驅動,要讓 PyTorch 用顯示晶片做運算,還要裝 Intel 的運算驅動(Level Zero)。Arch Linux:

sudo pacman -S intel-compute-runtime

2. 安裝 XPU 版 PyTorch

uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"

印出 True Intel(R) Graphics 就代表抓到內顯了。我裝到的是 PyTorch 2.14.1。

接著把前面列出的套件裝進這個環境,並加上 -c,指定套件版本限制檔。檔案裡要寫明目前安裝的 torch 版本,避免安裝其他套件時,torch 被換成非 XPU 版。

3. 移除衝突的 triton

裝完後 import transformers 失敗,錯誤訊息是 cannot import name 'make_tensordesc_args'。原因是 openai-whisper 順便裝了舊版的 triton,蓋掉了 XPU 版 PyTorch 需要的 triton-xpu。移除舊版,再重裝 triton-xpu 就好:

VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
  --index-url https://download.pytorch.org/whl/xpu triton-xpu

4. 把模型搬到內顯

CosyVoice 的程式只認 CUDA:沒有 NVIDIA 顯示卡就自動用 CPU。我沒有改官方的程式碼,而是先在 CPU 載入,再把三個主要網路搬到內顯:

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
    getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = dev

這樣以後更新官方程式碼也不會衝突。第一次在內顯上跑要先編譯,會多花十幾秒,之後就正常了。

實測一:用我自己的聲音示範聲音克隆

我用手機錄了一段 8 秒的聲音,當作克隆的參考。

聲明:本文所有示範音檔都是作者 Terry L 本人的聲音,以及用本人聲音克隆的結果。版權所有,請勿下載、轉載,或用在其他地方(包括拿去克隆)。
我本人的原始錄音(8 秒):「歡迎大家來到我的月球基地。我的文章記錄我對於各種工具的測試,希望對您有幫助。」版權所有,請勿用在其他地方

下面這句我從來沒有念過,是 CosyVoice 3 用上面那段錄音和它的逐字稿克隆出來的:

克隆我的聲音:「這句話是 CosyVoice 3 用我錄的八秒鐘聲音克隆出來的。我本人從來沒有念過這句話。」版權所有,請勿用在其他地方

我覺得生成的聲音和自己非常像。

跨語言克隆:同一段中文錄音,也能拿來念英文、日文,或用廣東話說:

克隆我的聲音念英文:「This sentence was generated by CosyVoice 3 from an eight-second clip of my voice. I never actually said it.」版權所有,請勿用在其他地方
克隆我的聲音念日文(用片假名輸入):「この声は、私の8秒の録音から作られました。」版權所有,請勿用在其他地方
克隆我的聲音說廣東話:「歡迎嚟到我嘅月球基地部落格。」版權所有,請勿用在其他地方

英文、日文和廣東話這幾段,我另外用語音辨識(Whisper)轉回文字比對,內容都正確,沒有多念或漏字。

參考錄音怎麼錄?

  • 長度 5~10 秒就夠。我也試過 20 秒的參考,生成時間變成 2~3 倍。
  • 安靜、只有一個人說話:背景音樂和雜音也會被克隆進去。
  • 要附逐字稿:用 inference_zero_shot 時,逐字稿要跟錄音內容一字不差。不知道內容的話,可以先用 Whisper 轉文字,或改用 inference_cross_lingual。
  • 錄音音量太小時先調大:我的手機錄音平均音量只有 -31 dB,所以我先剪掉頭尾的靜音、調整音量,再拿去克隆。

語氣和快慢也會被克隆

CosyVoice 3 克隆的不只是音色,語速、語氣、音高的起伏都會跟著參考錄音走。用 inference_zero_shot 時,參考錄音和逐字稿會被當成「前面已經說過的話」,模型接著往下說,所以會延續同一種說話方式。

實測時,我的原始錄音每秒約念 4.3 個字,上面那句克隆出來的中文每秒約 4.4 個字,語速很接近。不過不是每次都這麼一致:同一句換一個 seed,就慢到每秒 3.6 個字;亞瑟那句克隆台詞則比參考錄音快了一些。所以重要的台詞最好多生成幾個版本再挑。

這代表:

  • 想要什麼語氣,就錄什麼語氣:要生氣的台詞,就錄一段生氣的參考;要溫柔、慢慢說,參考也要慢慢念。同一個角色可以準備好幾段參考,例如平常、激動、悄悄話各一段。
  • 參考錄音的缺點也會被複製:念得太快、太平淡,或有回音、雜音,克隆出來也一樣。
  • 想微調時有三種做法:用 speed 參數直接調快調慢;用 inference_instruct2 下指令,例如「请用尽可能慢地语速说一句话。」;或改用 inference_cross_lingual。

從原始碼可以看到,inference_cross_lingual 不會把參考錄音交給負責決定節奏的語言模型,參考錄音只用來決定音色,所以比較不會照著錄音的節奏念。

實測二:幫機器人酒保亞瑟配音

網站首頁的 3D 月球基地裡有一間酒吧,酒保是機器人亞瑟。這個角色是為了向電影《星際過客》(Passengers,2016)裡的仿生人酒保亞瑟致敬,有幾句台詞也改寫自電影。電影中的亞瑟由麥可·辛飾演,這裡刻意不模仿他的聲音。

這一節繼續用我自己的聲音(同一段 8 秒錄音)念亞瑟的台詞,測試多音字和跨語言。

克隆我的聲音,繁體輸入:「酒保是替人保守秘密的。這是這份行業的神聖信用。」版權所有,請勿用在其他地方
跨語言:用我的中文錄音念英文「A bartender keeps confidence. It's the sacred trust of the craft.」版權所有,請勿用在其他地方

「行業」的「行」念成 háng,念對了。上一篇的 Qwen3-TTS 用繁體輸入會把它念錯,CosyVoice 3 直接用繁體就沒問題。

如果多音字念錯,CosyVoice 3 可以直接在台詞裡寫拼音,例如把「行業」寫成 [h][áng]業,就會照拼音念。英文單字也能用 CMU 音標指定念法。

我實際就遇到一次:後面「呼吸聲和笑聲標籤」那句台詞,第一次生成時「尷尬」的「尷」念錯了。把台詞裡的「尷」改寫成 [g][ān],重新生成就念對了。

後來我又試了一次:不加拼音,只把「尷」改成簡體的「尴」,也念對了。所以 CosyVoice 3 不需要像 Qwen3-TTS 那樣整句轉簡體。文章裡的繁體台詞大多都念得對,會出錯的多半是「尷」這種繁簡寫法不同、又比較少見的字。台詞照樣用繁體寫,聽到哪個字念錯,再把那個字改成簡體或拼音就好。

日文要先轉成片假名

官方範例特別註明:日文要先轉成片假名再輸入。我兩種都試了,用漢字和平假名輸入,語音辨識轉回來的內容差很多,有些詞念錯;改成片假名就正確了。

直接輸入日文:「バーテンダーは秘密を守るものです。それがこの仕事の神聖な信頼です。」語音辨識轉回的內容錯了好幾個詞。版權所有,請勿用在其他地方
同一句改用片假名輸入:「バーテンダー ワ ヒミツ オ マモル モノ デス……」語音辨識轉回的內容正確。版權所有,請勿用在其他地方

做日文配音時,可以請 AI 程式助手先把台詞轉成片假名,再交給 CosyVoice。

實測三:用指令控制方言、情緒和語速

inference_instruct2 可以用一句話下指令。官方程式碼裡列出了支援的指令,包括 17 種方言,以及音量、語速、情緒和「用機器人的方式」說話等指令。

指令要用簡體中文或英文寫,不要用繁體。官方列出的指令大多是簡體中文,音量的兩句則是英文(「Please say a sentence as loudly as possible.」「Please say a sentence in a very soft voice.」)。

我用同一句台詞試了「最慢語速」的三種寫法:

指令

台詞長度

不下指令

約 4~5 秒

簡體「请用尽可能慢地语速说一句话。」

8.2 秒

英文「Please say a sentence as slowly as possible.」

8.5 秒

繁體「請用盡可能慢地語速說一句話。」

5.3 秒

簡體和英文都明顯放慢,繁體幾乎沒有效果。廣東話的指令改成繁體後,咬字也變差了。英文指令不在官方清單裡,照樣有用,所以不會寫簡體的話,用英文下指令就好。台詞本身用繁體則沒有問題。

下面都用我的聲音,台詞是「歡迎來到月球基地的酒吧。今天想喝點什麼?」:

指令「你可以尝试用机器人的方式解答吗?」:機器人風格,很適合亞瑟。版權所有,請勿用在其他地方
指令「请非常开心地说一句话。」版權所有,請勿用在其他地方
指令「请用尽可能慢地语速说一句话。」:同一句變成 8 秒。版權所有,請勿用在其他地方
指令「请用广东话表达。」台詞用粵語寫法:「歡迎嚟到月球基地嘅酒吧。今日想飲啲咩?」版權所有,請勿用在其他地方
指令「请用四川话表达。」版權所有,請勿用在其他地方

廣東話的台詞要用粵語的寫法(嚟、嘅、啲、咩),語音辨識轉回來的內容才完全正確。

CosyVoice 能說台語嗎?

官方列出的方言有「閩南話」。我用同一句華語台詞,加上「请用闽南话表达。」的指令:

指令「请用闽南话表达。」台詞:「歡迎來到月球基地的酒吧。今天想喝點什麼?」版權所有,請勿用在其他地方

我聽了覺得完全不像台語,語調也都不對。

官方寫的是「閩南話」,跟台灣的台語在用詞和腔調上本來就不完全一樣。想做台語配音的話,目前不建議用 CosyVoice 3。

呼吸聲和笑聲標籤

台詞裡可以加 [breath](換氣)、<laughter>…</laughter>(邊笑邊說)、<strong>…</strong>(加重語氣)這類標籤:

「如果我不擦杯子,[breath]我就非得找話聊不可。<laughter>那樣一來,客人都會覺得很[g][ān]尬。</laughter>」版權所有,請勿用在其他地方

老實說,我完全聽不出換氣和笑聲。至少在這次的測試裡,這些標籤沒有明顯的效果,不要太期待。

數字和時間

前面提到,我的環境少了文字正規化套件。測試一句有數字、時間的台詞:

「一杯特調 120 元,第 2 杯打 8 折,營業到 23:30。」版權所有,請勿用在其他地方

「120 元」「8 折」「23:30」都念對了。就算少了文字正規化套件,CosyVoice 3 也能處理一般的數字和時間。

不過遇到比較複雜的寫法,例如電話號碼、版本號、日期或時間,還是先寫成國字比較保險。時間可以寫成「十一點半」。

CosyVoice 3 跟其他開源 TTS 比起來

跟上一篇介紹的模型相比,CosyVoice 3 的特色是:

  • 中文克隆品質比 Chatterbox 中文版好很多:我用同一段參考錄音、同樣的台詞,拿 Chatterbox 中文版做了對照。它念出來很多字咬字不清、念錯,品質很差,要克隆中文聲音的話,可以直接跳過 Chatterbox,不用浪費時間測試。
  • 聲音克隆加上指令控制:CosyVoice 3 可以用一句話指定方言、情緒和語速;Kokoro 只能用內建聲音,沒辦法克隆。
  • 繁體中文直接輸入:我測的繁體台詞大多念對了,個別念錯的字再改成簡體或拼音,不需要像 Qwen3-TTS 那樣整句轉成簡體。
  • 語言比較少:只有 9 種。Chatterbox 的多語版支援 23 種,像越南文、印尼文、土耳其文,CosyVoice 3 都不支援。
  • 比 Kokoro 慢很多:Kokoro 在 CPU 上十幾秒就能生成一句;CosyVoice 3 要用內顯才比較實用。

可以克隆別人的聲音嗎?

技術上,任何人的聲音只要有一段乾淨的錄音就能克隆,而且效果很好。正因為如此,只克隆自己的聲音,或已經取得對方同意的聲音。名人的聲音受人格權保護;用別人的聲音說他沒說過的話,也可能涉及詐騙或誹謗。

CosyVoice 3 的 Apache-2.0 授權允許商用的是模型本身,不代表你可以使用任何人的聲音。我的做法是:用自己的聲音,或用 Kokoro 這類開源模型的內建聲音生成角色的原聲,再拿來克隆。

常見問題

CosyVoice 3 可以商用嗎?

可以。Fun-CosyVoice3-0.5B-2512 採用 Apache-2.0 授權,可以商用。但參考聲音必須是你自己的,或已經取得對方同意。

CosyVoice 3 支援繁體中文嗎?

支援。我直接用繁體中文輸入,測的台詞大多念對了。個別字念錯時,可以改成簡體,或在台詞裡用 [h][áng] 這種拼音標記指定念法。

CosyVoice 3 會說台語、廣東話嗎?

廣東話可以,台詞用粵語寫法(嚟、嘅、啲)效果最好。官方方言清單裡有「閩南話」,但我實測聽起來不像台語,語調也不對,目前不適合拿來做台語配音。

沒有 NVIDIA 顯示卡可以跑 CosyVoice 3 嗎?

可以。用 CPU 跑,一句 8 秒的台詞要將近兩分鐘;改用 Intel 內顯(PyTorch XPU)約 20 秒。要先安裝 Intel 的運算驅動和 XPU 版 PyTorch。

CosyVoice 3.5 有開源嗎?

到 2026-11-21 為止還沒有。CosyVoice 3.5 只能透過阿里雲百煉的 API 使用,Hugging Face 上沒有它的權重。

聲音克隆的參考錄音要多長?

5~10 秒就夠。錄音要安靜、只有一個人說話,並附上一字不差的逐字稿。參考越長,生成越慢。

結語:8 秒錄音就能做出自己的配音

CosyVoice 3 讓我第一次覺得,用自己的聲音幫遊戲或影片配音是可行的:錄 8 秒,之後的台詞都交給模型念,還能換成英文、日文或廣東話。沒有 NVIDIA 顯示卡也沒關係,CPU 就能跑;有 Intel 內顯的話,還能再快 5 倍。

如果你也試了 CosyVoice 3,或想知道其他模型的實測,歡迎到 Threads 或 X 留言。