CosyVoice 3 教程:免费开源 AI 声音克隆,CPU 也能跑
CosyVoice 3 只需 8 秒录音就能克隆声音,还会说广东话、四川话。没有显卡也能用 CPU 运行,本文记录安装过程,实测 AI 声音克隆和方言指令。

我在上一篇文章《免费 AI 配音,可商用》里对比了几个开源 TTS(文字转语音)模型,也说过之后会逐一详细介绍。这篇讲的是 CosyVoice 3:只要一段 8 秒的录音,它就能用这个人的声音说出新的句子,还会说广东话、四川话这些方言。
我的笔记本没有 NVIDIA 显卡,只靠 CPU 也能跑,一句台词大约两分钟,适合把一批台词排好队,让它在后台慢慢生成。如果你的电脑有 Intel 核显,还能用核显加速,大约快 5 倍。这篇记录了完整的安装过程和踩过的坑,也用我自己的声音实际演示声音克隆。
CosyVoice 3 是什么?可以商用吗?
CosyVoice 是阿里巴巴开源的语音生成模型(源代码的版权声明是 Alibaba Inc.),目前开源的最新版是 2025 年 12 月发布的 Fun-CosyVoice3-0.5B-2512。以下信息来自 Hugging Face 模型页,查询日期 2026-11-21:
项目 | 内容 |
|---|---|
参数量 | 0.5B(5 亿) |
许可证 | Apache-2.0,可以商用 |
语言 | 中文、英语、日语、韩语、德语、西班牙语、法语、意大利语、俄语,共 9 种 |
中文方言 | 18 种以上,例如广东话、闽南话、四川话、东北话、上海话 |
声音克隆 | 提供一段参考音频就能克隆,也支持跨语言(用中文录音中的声音说英语) |
指令控制 | 用一句话指定方言、语速、音量、情绪 |
在官方的评测表里,CosyVoice 3 在中文测试集上的字错误率(CER)比上一代 CosyVoice 2 低,说话人相似度也更高。
CosyVoice 3.5 开源了吗?
没有。阿里巴巴在 2026 年 3 月发布了 CosyVoice 3.5,但目前只能通过阿里云百炼(Model Studio)的 API 调用,而且只开放北京地域。截至 2026-11-21,Hugging Face 上没有 3.5 的权重,GitHub 上也有用户在 issue 里问会不会开源,官方没有回复。如果想在自己的电脑上运行,又需要商用许可,目前可以用 3.0。
另外,CosyVoice 的 GitHub 仓库已经从 FunAudioLLM/CosyVoice 迁到 QwenAudio/CosyVoice,旧地址会自动跳转。
电脑配置:没有 NVIDIA 显卡能跑吗?
能,只是慢一些。我的笔记本是 Intel Core Ultra 5 322(6 核),显卡是 Panther Lake 核显,没有独立显卡。生成同一句约 8 秒的中文台词,耗时如下:
用什么跑 | 生成时间 | 耗时倍率(越小越快) |
|---|---|---|
CPU(6 核) | 115 秒 | 15.6 |
Intel 核显(PyTorch XPU) | 21.5 秒 | 2.5 |
另外,加载模型需要约 12 秒。用核显批量生成台词时,模型只加载一次,生成一句 4~6 秒的台词大约需要 15~30 秒。
官方的安装方式是为 NVIDIA 显卡(CUDA)设计的。用 Intel 核显要多做几步,后面会讲。
CosyVoice 3 安装教程(CPU 版)
我的环境是 Linux(Arch),Python 用 uv 管理。
1. 下载代码
mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repo一定要加 --recursive,因为它依赖的 Matcha-TTS 是子模块。
2. 创建环境、安装依赖
官方的 requirements.txt 里有 CUDA 版的 PyTorch、TensorRT、DeepSpeed;我的笔记本没有 NVIDIA 显卡,这些都用不上。我只装实际需要的包,并指定 CPU 版的 PyTorch:
uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
--index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
"torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hub这里踩了三个坑:
openai-whisper编译失败:它的安装脚本需要pkg_resources,新版 setuptools 已经去掉了。先装setuptools<81,再让它不在隔离环境里编译(--no-build-isolation-package)。- 少装
lightning、rich,模型会加载失败:模型配置文件用到了这两个包,所以也要一起装。 no frontend is avaliable提示:文本规范化包 wetext 要从 ModelScope 下载数据,我这里被拒绝了(403)。少了它照样能生成,CosyVoice 3 本身也能处理一般的数字和符号,后面有实测。
3. 下载模型(能省 4 GB)
完整下载模型约需 9.8 GB,但这次安装用不到其中几个文件,可以跳过:
from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
local_dir="models/Fun-CosyVoice3-0.5B",
ignore_patterns=["flow.decoder.estimator.fp32.onnx", # 供 TensorRT 使用
"speech_tokenizer_v3.batch.onnx", # 用于批量推理
"llm.rl.pt"]) # 强化学习版,默认不加载下载完成后占用 5.1 GB。
4. 生成第一句
CosyVoice 3 的提示词有固定格式:前面要加上 You are a helpful assistant.<|endofprompt|>。参照官方的 example.py 改写:
import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"
# 声音克隆:参考音频 + 参考音频的转写文本
out = m.inference_zero_shot("要朗读的台词", SYS + "参考音频的转写文本", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)三种主要用法:
函数 | 用途 |
|---|---|
| 声音克隆,相似度最高。需要提供参考音频的转写文本 |
| 不需要转写文本,适合跨语言,例如用中文录音中的声音说英语 |
| 用一句话指定方言、语速、情绪。指令格式见下方 |
指令要写成 "You are a helpful assistant. 请用广东话表达。<|endofprompt|>" 这样:前面同样是那句固定开头,中间是指令,最后接 <|endofprompt|>。
我把这些功能封装成一个命令,放在 ~/tools/cosyvoice/,每个项目都能直接调用。
进阶:用 Intel 核显加速 5 倍(PyTorch XPU)
PyTorch 支持 Intel 显卡的后端叫 XPU。CosyVoice 用的 PyTorch 2.3.1 还没有 XPU,所以我另外建了一个环境,保留原来的 CPU 版环境。
1. 安装 Intel 计算运行时
一般桌面系统只安装了用于显示的驱动,要让 PyTorch 用显卡做计算,还要装 Intel 的计算运行时(Level Zero)。Arch Linux:
sudo pacman -S intel-compute-runtime2. 安装 XPU 版 PyTorch
uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"打印出 True Intel(R) Graphics 就说明识别到核显了。我装到的是 PyTorch 2.14.1。
接着把前面列出的依赖包安装到这个环境中,并加上 -c 指定版本约束文件。文件里要写明当前安装的 torch 版本,免得装其他包时 torch 被换成非 XPU 版。
3. 卸载冲突的 triton
装完后 import transformers 失败,报错是 cannot import name 'make_tensordesc_args'。原因是 openai-whisper 顺带装了旧版的 triton,覆盖了 XPU 版 PyTorch 需要的 triton-xpu。卸载旧版,再重装 triton-xpu 就好:
VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
--index-url https://download.pytorch.org/whl/xpu triton-xpu4. 把模型搬到核显
CosyVoice 的代码只认 CUDA:没有 NVIDIA 显卡就自动用 CPU。我没有改官方代码,而是先在 CPU 上加载,再把三个主要网络移到核显上:
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = dev这样以后更新官方代码也不会冲突。第一次在核显上跑要先编译,会多花十几秒,之后就正常了。
实测一:用我自己的声音演示声音克隆
我用手机录了一段 8 秒的音频,作为声音克隆的参考。
声明:本文所有示例音频都是作者 Terry L 本人的声音,以及用本人声音克隆的结果。版权所有,请勿下载、转载,或用于其他地方(包括拿去克隆)。
下面这句我从来没念过,是 CosyVoice 3 用上面那段录音和它的转写文本克隆出来的:
我觉得生成的声音和我自己非常像。
跨语言克隆:同一段中文录音,也能拿来说英语、日语,或者说广东话:
英语、日语和广东话这几段,我还用语音识别(Whisper)转成文字进行了比对,内容都正确,没有多读或漏字。
参考录音怎么录?
- 5~10 秒就够了。我也试过用 20 秒的参考录音,生成耗时变成了原来的 2~3 倍。
- 安静、只有一个人说话:背景音乐和杂音也会被克隆进去。
- 要附转写文本:用
inference_zero_shot时,转写文本要和录音内容一字不差。如果没有转写文本,可以先用 Whisper 把录音转成文字,或者改用inference_cross_lingual。 - 录音音量太小就先调大:我的手机录音平均音量只有 -31 dB,所以我先剪掉首尾的静音、调整音量,再拿去克隆。
语气和快慢也会被克隆
CosyVoice 3 克隆的不只是音色,语速、语气、音高起伏都会受到参考录音的影响。用 inference_zero_shot 时,参考录音和转写文本会被当成“前面已经说过的话”,模型接着往下说,所以会延续同一种说话方式。
实测时,我的原始录音每秒约 4.3 个字,上面那句克隆出来的中文每秒约 4.4 个字,语速很接近。不过不是每次都这么一致:同一句台词换一个随机种子(seed),语速就降到了每秒 3.6 个字;亚瑟那句克隆台词则比参考录音快了一些。所以重要的台词最好多生成几个版本再挑。
这意味着:
- 想要什么语气,就录什么语气:想让台词听起来生气,就录一段生气的参考音频;要温柔、慢慢说,参考也要慢慢念。同一个角色可以准备好几段参考,比如平静、激动、说悄悄话时各录一段。
- 参考录音的毛病也会被复制:念得太快、太平淡,或者有回声、杂音,克隆出来也一样。
- 想微调有三种做法:用
speed参数直接调快调慢;用inference_instruct2发出指令,例如“请用尽可能慢地语速说一句话。”;或者改用inference_cross_lingual。
从源代码可以看到,inference_cross_lingual 不会把参考录音交给负责决定节奏的语言模型,参考录音只用来决定音色,所以不太会照着录音的节奏念。
实测二:给机器人酒保亚瑟配音
网站首页是一个 3D 月球基地小游戏,基地里有一间酒吧,酒保是机器人亚瑟。这个角色是向电影《太空旅客》(Passengers,2016)里的仿生人酒保亚瑟致敬,有几句台词也改写自电影。电影里的亚瑟由迈克尔·辛饰演,这里刻意不模仿他的声音。
这一节继续用我自己的声音(同一段 8 秒录音)念亚瑟的台词,测试多音字的读音和跨语言生成效果。
“行业”的“行”念成 háng,念对了。中文台词直接输入就行,不需要额外标注读音。
如果多音字念错了,CosyVoice 3 可以直接在台词里写拼音,比如把“行业”写成 [h][áng]业,就会照拼音念。英文单词也能用 CMU 音标指定读法。
我就实际遇到过一次:后面“呼吸声和笑声标签”那句台词,我一开始是用繁体字写的,第一次生成时繁体的“尷”念错了。把它改写成 [g][ān],重新生成就念对了。
后来我又试了一次:不加拼音,只把“尷”换成简体的“尴”,也念对了。会出错的多半是繁体写法少见的字,用简体写台词的话,直接输入就行;偶尔遇到念错的字,再用拼音标记修正。
日语要先转成片假名
官方示例特别注明:日语要先转成片假名再输入。两种输入方式我都试了:用汉字和平假名输入,语音识别得到的文字与原文相差很大,有些词念错了;改成片假名就正确了。
做日语配音时,可以让 AI 编程助手先把台词转成片假名,再交给 CosyVoice。
实测三:用指令控制方言、情绪和语速
inference_instruct2 可以用一句话发出指令。官方代码里列出了支持的指令,包括 17 种方言,以及音量、语速、情绪和“用机器人的方式”说话等指令。
指令用简体中文或英文写。官方列出的指令大多是简体中文,音量的两句则是英文(“Please say a sentence as loudly as possible.”“Please say a sentence in a very soft voice.”)。
我用同一句台词试了“最慢语速”的几种写法:
指令 | 台词时长 |
|---|---|
不加指令 | 约 4~5 秒 |
简体“请用尽可能慢地语速说一句话。” | 8.2 秒 |
英文“Please say a sentence as slowly as possible.” | 8.5 秒 |
繁体“請用盡可能慢地語速說一句話。” | 5.3 秒 |
简体和英文都明显放慢了,繁体几乎没效果,所以指令别用繁体写。英文指令不在官方清单里,照样有用。
下面都用我的声音,台词是“欢迎来到月球基地的酒吧。今天想喝点什么?”:
广东话的台词要用粤语写法(嚟、嘅、啲、咩),语音识别得到的内容才完全正确。
CosyVoice 能说闽南话、台语吗?
官方列出的方言里有“闽南话”。我用同一句普通话台词,加上“请用闽南话表达。”的指令:
我听了觉得完全不像台语,语调也都不对。
官方写的是“闽南话”,与台语(Taiwanese Hokkien)在用词和口音上本来就不完全一样。想做台语配音的话,目前不建议用 CosyVoice 3。
呼吸声和笑声标签
台词里可以加 [breath](换气)、<laughter>…</laughter>(边笑边说)、<strong>…</strong>(加重语气)这类标签:
说实话,我完全听不出换气和笑声。至少在这次测试里,这些标签没有明显效果,别抱太高期望。
数字和时间
前面提到,我的环境少了文本规范化包。测试一句带数字、时间的台词:
“120 元”“8 折”“23:30”都念对了。就算少了文本规范化包,CosyVoice 3 也能处理一般的数字和时间。
不过遇到比较复杂的写法,比如电话号码、版本号、日期或时间,还是先写成汉字比较稳妥。时间可以写成“十一点半”。
CosyVoice 3 和其他开源 TTS 对比
和上一篇介绍的模型相比,CosyVoice 3 的特点是:
- 中文声音克隆质量比 Chatterbox 中文版好很多:我用同一段参考录音、同样的台词,拿 Chatterbox 中文版做了对照。它生成的语音中有很多字发音含糊或读错,质量很差。要克隆中文声音的话,可以直接跳过 Chatterbox,不用浪费时间测试。
- 声音克隆加上指令控制:CosyVoice 3 可以用一句话指定方言、情绪和语速;Kokoro 只能用内置声音,没法克隆。
- 中文直接输入:我测的台词大多念对了,个别字读错时,用拼音标记单独修正就好。
- 语言比较少:只支持 9 种。Chatterbox 的多语言版支持 23 种,像越南语、印尼语、土耳其语,CosyVoice 3 都不支持。
- 比 Kokoro 慢很多:Kokoro 在 CPU 上十几秒就能生成一句;CosyVoice 3 要用核显才比较实用。
可以克隆别人的声音吗?
技术上,只要有一段清晰、无杂音的录音,就能克隆任何人的声音,而且效果很好。正因如此,只克隆自己的声音,或在征得对方同意后克隆其声音。名人的声音受人格权保护;用别人的声音说他没说过的话,也可能涉及诈骗或诽谤。
CosyVoice 3 的 Apache-2.0 许可证允许商用的是模型本身,不代表你可以使用任何人的声音。我的做法是:用自己的声音,或者用 Kokoro 这类开源模型的内置声音生成角色的原声,再拿来克隆。
常见问题
CosyVoice 3 可以商用吗?
可以。Fun-CosyVoice3-0.5B-2512 采用 Apache-2.0 许可证,可以商用。但参考声音必须是你自己的;如果使用他人的声音,则必须征得对方同意。
CosyVoice3 支持繁体中文吗?
支持。我直接用繁体中文输入,测的台词大多念对了。个别字念错时,可以改成简体,或者在台词里用 [h][áng] 这种拼音标记指定读法。
CosyVoice 3 会说广东话、闽南话吗?
广东话可以,台词用粤语写法(嚟、嘅、啲)效果最好。官方方言清单里有“闽南话”,但我实测听起来不像台语,语调也不对,目前不适合拿来做台语配音。
没有 NVIDIA 显卡能用 CosyVoice 3 做 AI 声音克隆吗?
能。用 CPU 跑,一句 8 秒的台词要将近两分钟;改用 Intel 核显(PyTorch XPU)约 20 秒。需要先安装 Intel 的计算运行时和 XPU 版 PyTorch。
CosyVoice 3.5 开源了吗?
截至 2026-11-21 还没有。CosyVoice 3.5 只能通过阿里云百炼的 API 调用,Hugging Face 上没有它的权重。
语音克隆的参考录音要多长?
5~10 秒就够。录音环境要安静,录音中只能有一个人说话,并附上与录音内容一字不差的转写文本。参考越长,生成越慢。
结语:8 秒录音就能做出自己的配音
CosyVoice 3 让我第一次觉得,用自己的声音给游戏或视频配音是可行的:录一段 8 秒的音频,之后的台词都交给模型读,还能换成英语、日语或广东话。没有 NVIDIA 显卡也没关系,CPU 就能跑;有 Intel 核显的话,还能再快 5 倍。
