2026 秋 · 发自宁静基地
走进月球工作室 ↗
terryl.in月球基地日志 — 一个人在月球工作室的开发笔记
AI 工具

CosyVoice 3 教程:免费开源 AI 声音克隆,CPU 也能跑

CosyVoice 3 只需 8 秒录音就能克隆声音,还会说广东话、四川话。没有显卡也能用 CPU 运行,本文记录安装过程,实测 AI 声音克隆和方言指令。

月球基地的录音室里,宇航员对着麦克风说话,三道彩色声波飘向机器人酒保、音箱和笔记本电脑
月球基地的录音室里,宇航员对着麦克风说话,三道彩色声波飘向机器人酒保、音箱和笔记本电脑

我在上一篇文章《免费 AI 配音,可商用》里对比了几个开源 TTS(文字转语音)模型,也说过之后会逐一详细介绍。这篇讲的是 CosyVoice 3:只要一段 8 秒的录音,它就能用这个人的声音说出新的句子,还会说广东话、四川话这些方言。

我的笔记本没有 NVIDIA 显卡,只靠 CPU 也能跑,一句台词大约两分钟,适合把一批台词排好队,让它在后台慢慢生成。如果你的电脑有 Intel 核显,还能用核显加速,大约快 5 倍。这篇记录了完整的安装过程和踩过的坑,也用我自己的声音实际演示声音克隆。

CosyVoice 3 是什么?可以商用吗?

CosyVoice 是阿里巴巴开源的语音生成模型(源代码的版权声明是 Alibaba Inc.),目前开源的最新版是 2025 年 12 月发布的 Fun-CosyVoice3-0.5B-2512。以下信息来自 Hugging Face 模型页,查询日期 2026-11-21:

项目

内容

参数量

0.5B(5 亿)

许可证

Apache-2.0,可以商用

语言

中文、英语、日语、韩语、德语、西班牙语、法语、意大利语、俄语,共 9 种

中文方言

18 种以上,例如广东话、闽南话、四川话、东北话、上海话

声音克隆

提供一段参考音频就能克隆,也支持跨语言(用中文录音中的声音说英语)

指令控制

用一句话指定方言、语速、音量、情绪

在官方的评测表里,CosyVoice 3 在中文测试集上的字错误率(CER)比上一代 CosyVoice 2 低,说话人相似度也更高。

CosyVoice 3.5 开源了吗?

没有。阿里巴巴在 2026 年 3 月发布了 CosyVoice 3.5,但目前只能通过阿里云百炼(Model Studio)的 API 调用,而且只开放北京地域。截至 2026-11-21,Hugging Face 上没有 3.5 的权重,GitHub 上也有用户在 issue 里问会不会开源,官方没有回复。如果想在自己的电脑上运行,又需要商用许可,目前可以用 3.0。

另外,CosyVoice 的 GitHub 仓库已经从 FunAudioLLM/CosyVoice 迁到 QwenAudio/CosyVoice,旧地址会自动跳转。

电脑配置:没有 NVIDIA 显卡能跑吗?

能,只是慢一些。我的笔记本是 Intel Core Ultra 5 322(6 核),显卡是 Panther Lake 核显,没有独立显卡。生成同一句约 8 秒的中文台词,耗时如下:

用什么跑

生成时间

耗时倍率(越小越快)

CPU(6 核)

115 秒

15.6

Intel 核显(PyTorch XPU)

21.5 秒

2.5

另外,加载模型需要约 12 秒。用核显批量生成台词时,模型只加载一次,生成一句 4~6 秒的台词大约需要 15~30 秒。

官方的安装方式是为 NVIDIA 显卡(CUDA)设计的。用 Intel 核显要多做几步,后面会讲。

CosyVoice 3 安装教程(CPU 版)

我的环境是 Linux(Arch),Python 用 uv 管理。

1. 下载代码

mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repo

一定要加 --recursive,因为它依赖的 Matcha-TTS 是子模块。

2. 创建环境、安装依赖

官方的 requirements.txt 里有 CUDA 版的 PyTorch、TensorRT、DeepSpeed;我的笔记本没有 NVIDIA 显卡,这些都用不上。我只装实际需要的包,并指定 CPU 版的 PyTorch:

uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
  --index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
  "torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
  hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
  onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
  soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
  lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
  wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hub

这里踩了三个坑:

  • openai-whisper 编译失败:它的安装脚本需要 pkg_resources,新版 setuptools 已经去掉了。先装 setuptools<81,再让它不在隔离环境里编译(--no-build-isolation-package)。
  • 少装 lightning、rich,模型会加载失败:模型配置文件用到了这两个包,所以也要一起装。
  • no frontend is avaliable 提示:文本规范化包 wetext 要从 ModelScope 下载数据,我这里被拒绝了(403)。少了它照样能生成,CosyVoice 3 本身也能处理一般的数字和符号,后面有实测。

3. 下载模型(能省 4 GB)

完整下载模型约需 9.8 GB,但这次安装用不到其中几个文件,可以跳过:

from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
    local_dir="models/Fun-CosyVoice3-0.5B",
    ignore_patterns=["flow.decoder.estimator.fp32.onnx",   # 供 TensorRT 使用
                     "speech_tokenizer_v3.batch.onnx",      # 用于批量推理
                     "llm.rl.pt"])                          # 强化学习版,默认不加载

下载完成后占用 5.1 GB。

4. 生成第一句

CosyVoice 3 的提示词有固定格式:前面要加上 You are a helpful assistant.<|endofprompt|>。参照官方的 example.py 改写:

import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"

# 声音克隆:参考音频 + 参考音频的转写文本
out = m.inference_zero_shot("要朗读的台词", SYS + "参考音频的转写文本", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)

三种主要用法:

函数

用途

inference_zero_shot(台词, SYS+转写文本, 参考音频)

声音克隆,相似度最高。需要提供参考音频的转写文本

inference_cross_lingual(SYS+台词, 参考音频)

不需要转写文本,适合跨语言,例如用中文录音中的声音说英语

inference_instruct2(台词, 指令, 参考音频)

用一句话指定方言、语速、情绪。指令格式见下方

指令要写成 "You are a helpful assistant. 请用广东话表达。<|endofprompt|>" 这样:前面同样是那句固定开头,中间是指令,最后接 <|endofprompt|>。

我把这些功能封装成一个命令,放在 ~/tools/cosyvoice/,每个项目都能直接调用。

进阶:用 Intel 核显加速 5 倍(PyTorch XPU)

PyTorch 支持 Intel 显卡的后端叫 XPU。CosyVoice 用的 PyTorch 2.3.1 还没有 XPU,所以我另外建了一个环境,保留原来的 CPU 版环境。

1. 安装 Intel 计算运行时

一般桌面系统只安装了用于显示的驱动,要让 PyTorch 用显卡做计算,还要装 Intel 的计算运行时(Level Zero)。Arch Linux:

sudo pacman -S intel-compute-runtime

2. 安装 XPU 版 PyTorch

uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"

打印出 True Intel(R) Graphics 就说明识别到核显了。我装到的是 PyTorch 2.14.1。

接着把前面列出的依赖包安装到这个环境中,并加上 -c 指定版本约束文件。文件里要写明当前安装的 torch 版本,免得装其他包时 torch 被换成非 XPU 版。

3. 卸载冲突的 triton

装完后 import transformers 失败,报错是 cannot import name 'make_tensordesc_args'。原因是 openai-whisper 顺带装了旧版的 triton,覆盖了 XPU 版 PyTorch 需要的 triton-xpu。卸载旧版,再重装 triton-xpu 就好:

VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
  --index-url https://download.pytorch.org/whl/xpu triton-xpu

4. 把模型搬到核显

CosyVoice 的代码只认 CUDA:没有 NVIDIA 显卡就自动用 CPU。我没有改官方代码,而是先在 CPU 上加载,再把三个主要网络移到核显上:

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
    getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = dev

这样以后更新官方代码也不会冲突。第一次在核显上跑要先编译,会多花十几秒,之后就正常了。

实测一:用我自己的声音演示声音克隆

我用手机录了一段 8 秒的音频,作为声音克隆的参考。

声明:本文所有示例音频都是作者 Terry L 本人的声音,以及用本人声音克隆的结果。版权所有,请勿下载、转载,或用于其他地方(包括拿去克隆)。
我本人的原始录音(8 秒):“欢迎大家来到我的月球基地。我的文章记录我对于各种工具的测试,希望对您有帮助。”版权所有,请勿用于其他地方

下面这句我从来没念过,是 CosyVoice 3 用上面那段录音和它的转写文本克隆出来的:

克隆我的声音:“这句话是 CosyVoice 3 用我录的八秒钟声音克隆出来的。我本人从来没有念过这句话。”版权所有,请勿用于其他地方

我觉得生成的声音和我自己非常像。

跨语言克隆:同一段中文录音,也能拿来说英语、日语,或者说广东话:

克隆我的声音说英语:“This sentence was generated by CosyVoice 3 from an eight-second clip of my voice. I never actually said it.”版权所有,请勿用于其他地方
克隆我的声音说日语(用片假名输入):“この声は、私の8秒の録音から作られました。”版权所有,请勿用于其他地方
克隆我的声音说广东话:“欢迎嚟到我嘅月球基地博客。”版权所有,请勿用于其他地方

英语、日语和广东话这几段,我还用语音识别(Whisper)转成文字进行了比对,内容都正确,没有多读或漏字。

参考录音怎么录?

  • 5~10 秒就够了。我也试过用 20 秒的参考录音,生成耗时变成了原来的 2~3 倍。
  • 安静、只有一个人说话:背景音乐和杂音也会被克隆进去。
  • 要附转写文本:用 inference_zero_shot 时,转写文本要和录音内容一字不差。如果没有转写文本,可以先用 Whisper 把录音转成文字,或者改用 inference_cross_lingual。
  • 录音音量太小就先调大:我的手机录音平均音量只有 -31 dB,所以我先剪掉首尾的静音、调整音量,再拿去克隆。

语气和快慢也会被克隆

CosyVoice 3 克隆的不只是音色,语速、语气、音高起伏都会受到参考录音的影响。用 inference_zero_shot 时,参考录音和转写文本会被当成“前面已经说过的话”,模型接着往下说,所以会延续同一种说话方式。

实测时,我的原始录音每秒约 4.3 个字,上面那句克隆出来的中文每秒约 4.4 个字,语速很接近。不过不是每次都这么一致:同一句台词换一个随机种子(seed),语速就降到了每秒 3.6 个字;亚瑟那句克隆台词则比参考录音快了一些。所以重要的台词最好多生成几个版本再挑。

这意味着:

  • 想要什么语气,就录什么语气:想让台词听起来生气,就录一段生气的参考音频;要温柔、慢慢说,参考也要慢慢念。同一个角色可以准备好几段参考,比如平静、激动、说悄悄话时各录一段。
  • 参考录音的毛病也会被复制:念得太快、太平淡,或者有回声、杂音,克隆出来也一样。
  • 想微调有三种做法:用 speed 参数直接调快调慢;用 inference_instruct2 发出指令,例如“请用尽可能慢地语速说一句话。”;或者改用 inference_cross_lingual。

从源代码可以看到,inference_cross_lingual 不会把参考录音交给负责决定节奏的语言模型,参考录音只用来决定音色,所以不太会照着录音的节奏念。

实测二:给机器人酒保亚瑟配音

网站首页是一个 3D 月球基地小游戏,基地里有一间酒吧,酒保是机器人亚瑟。这个角色是向电影《太空旅客》(Passengers,2016)里的仿生人酒保亚瑟致敬,有几句台词也改写自电影。电影里的亚瑟由迈克尔·辛饰演,这里刻意不模仿他的声音。

这一节继续用我自己的声音(同一段 8 秒录音)念亚瑟的台词,测试多音字的读音和跨语言生成效果。

克隆我的声音:“酒保是替人保守秘密的。这是这份行业的神圣信用。”版权所有,请勿用于其他地方
跨语言:用我的中文录音说英语“A bartender keeps confidence. It's the sacred trust of the craft.”版权所有,请勿用于其他地方

“行业”的“行”念成 háng,念对了。中文台词直接输入就行,不需要额外标注读音。

如果多音字念错了,CosyVoice 3 可以直接在台词里写拼音,比如把“行业”写成 [h][áng]业,就会照拼音念。英文单词也能用 CMU 音标指定读法。

我就实际遇到过一次:后面“呼吸声和笑声标签”那句台词,我一开始是用繁体字写的,第一次生成时繁体的“尷”念错了。把它改写成 [g][ān],重新生成就念对了。

后来我又试了一次:不加拼音,只把“尷”换成简体的“尴”,也念对了。会出错的多半是繁体写法少见的字,用简体写台词的话,直接输入就行;偶尔遇到念错的字,再用拼音标记修正。

日语要先转成片假名

官方示例特别注明:日语要先转成片假名再输入。两种输入方式我都试了:用汉字和平假名输入,语音识别得到的文字与原文相差很大,有些词念错了;改成片假名就正确了。

直接输入日语:“バーテンダーは秘密を守るものです。それがこの仕事の神聖な信頼です。”语音识别转回的内容错了好几个词。版权所有,请勿用于其他地方
同一句改用片假名输入:“バーテンダー ワ ヒミツ オ マモル モノ デス……”语音识别转回的内容正确。版权所有,请勿用于其他地方

做日语配音时,可以让 AI 编程助手先把台词转成片假名,再交给 CosyVoice。

实测三:用指令控制方言、情绪和语速

inference_instruct2 可以用一句话发出指令。官方代码里列出了支持的指令,包括 17 种方言,以及音量、语速、情绪和“用机器人的方式”说话等指令。

指令用简体中文或英文写。官方列出的指令大多是简体中文,音量的两句则是英文(“Please say a sentence as loudly as possible.”“Please say a sentence in a very soft voice.”)。

我用同一句台词试了“最慢语速”的几种写法:

指令

台词时长

不加指令

约 4~5 秒

简体“请用尽可能慢地语速说一句话。”

8.2 秒

英文“Please say a sentence as slowly as possible.”

8.5 秒

繁体“請用盡可能慢地語速說一句話。”

5.3 秒

简体和英文都明显放慢了,繁体几乎没效果,所以指令别用繁体写。英文指令不在官方清单里,照样有用。

下面都用我的声音,台词是“欢迎来到月球基地的酒吧。今天想喝点什么?”:

指令“你可以尝试用机器人的方式解答吗?”:机器人风格,很适合亚瑟。版权所有,请勿用于其他地方
指令“请非常开心地说一句话。”版权所有,请勿用于其他地方
指令“请用尽可能慢地语速说一句话。”:同一句变成 8 秒。版权所有,请勿用于其他地方
指令“请用广东话表达。”台词用粤语写法:“欢迎嚟到月球基地嘅酒吧。今日想饮啲咩?”版权所有,请勿用于其他地方
指令“请用四川话表达。”版权所有,请勿用于其他地方

广东话的台词要用粤语写法(嚟、嘅、啲、咩),语音识别得到的内容才完全正确。

CosyVoice 能说闽南话、台语吗?

官方列出的方言里有“闽南话”。我用同一句普通话台词,加上“请用闽南话表达。”的指令:

指令“请用闽南话表达。”台词:“欢迎来到月球基地的酒吧。今天想喝点什么?”版权所有,请勿用于其他地方

我听了觉得完全不像台语,语调也都不对。

官方写的是“闽南话”,与台语(Taiwanese Hokkien)在用词和口音上本来就不完全一样。想做台语配音的话,目前不建议用 CosyVoice 3。

呼吸声和笑声标签

台词里可以加 [breath](换气)、<laughter>…</laughter>(边笑边说)、<strong>…</strong>(加重语气)这类标签:

“如果我不擦杯子,[breath]我就非得找话聊不可。<laughter>那样一来,客人都会觉得很[g][ān]尬。</laughter>”版权所有,请勿用于其他地方

说实话,我完全听不出换气和笑声。至少在这次测试里,这些标签没有明显效果,别抱太高期望。

数字和时间

前面提到,我的环境少了文本规范化包。测试一句带数字、时间的台词:

“一杯特调 120 元,第 2 杯打 8 折,营业到 23:30。”版权所有,请勿用于其他地方

“120 元”“8 折”“23:30”都念对了。就算少了文本规范化包,CosyVoice 3 也能处理一般的数字和时间。

不过遇到比较复杂的写法,比如电话号码、版本号、日期或时间,还是先写成汉字比较稳妥。时间可以写成“十一点半”。

CosyVoice 3 和其他开源 TTS 对比

和上一篇介绍的模型相比,CosyVoice 3 的特点是:

  • 中文声音克隆质量比 Chatterbox 中文版好很多:我用同一段参考录音、同样的台词,拿 Chatterbox 中文版做了对照。它生成的语音中有很多字发音含糊或读错,质量很差。要克隆中文声音的话,可以直接跳过 Chatterbox,不用浪费时间测试。
  • 声音克隆加上指令控制:CosyVoice 3 可以用一句话指定方言、情绪和语速;Kokoro 只能用内置声音,没法克隆。
  • 中文直接输入:我测的台词大多念对了,个别字读错时,用拼音标记单独修正就好。
  • 语言比较少:只支持 9 种。Chatterbox 的多语言版支持 23 种,像越南语、印尼语、土耳其语,CosyVoice 3 都不支持。
  • 比 Kokoro 慢很多:Kokoro 在 CPU 上十几秒就能生成一句;CosyVoice 3 要用核显才比较实用。

可以克隆别人的声音吗?

技术上,只要有一段清晰、无杂音的录音,就能克隆任何人的声音,而且效果很好。正因如此,只克隆自己的声音,或在征得对方同意后克隆其声音。名人的声音受人格权保护;用别人的声音说他没说过的话,也可能涉及诈骗或诽谤。

CosyVoice 3 的 Apache-2.0 许可证允许商用的是模型本身,不代表你可以使用任何人的声音。我的做法是:用自己的声音,或者用 Kokoro 这类开源模型的内置声音生成角色的原声,再拿来克隆。

常见问题

CosyVoice 3 可以商用吗?

可以。Fun-CosyVoice3-0.5B-2512 采用 Apache-2.0 许可证,可以商用。但参考声音必须是你自己的;如果使用他人的声音,则必须征得对方同意。

CosyVoice3 支持繁体中文吗?

支持。我直接用繁体中文输入,测的台词大多念对了。个别字念错时,可以改成简体,或者在台词里用 [h][áng] 这种拼音标记指定读法。

CosyVoice 3 会说广东话、闽南话吗?

广东话可以,台词用粤语写法(嚟、嘅、啲)效果最好。官方方言清单里有“闽南话”,但我实测听起来不像台语,语调也不对,目前不适合拿来做台语配音。

没有 NVIDIA 显卡能用 CosyVoice 3 做 AI 声音克隆吗?

能。用 CPU 跑,一句 8 秒的台词要将近两分钟;改用 Intel 核显(PyTorch XPU)约 20 秒。需要先安装 Intel 的计算运行时和 XPU 版 PyTorch。

CosyVoice 3.5 开源了吗?

截至 2026-11-21 还没有。CosyVoice 3.5 只能通过阿里云百炼的 API 调用,Hugging Face 上没有它的权重。

语音克隆的参考录音要多长?

5~10 秒就够。录音环境要安静,录音中只能有一个人说话,并附上与录音内容一字不差的转写文本。参考越长,生成越慢。

结语:8 秒录音就能做出自己的配音

CosyVoice 3 让我第一次觉得,用自己的声音给游戏或视频配音是可行的:录一段 8 秒的音频,之后的台词都交给模型读,还能换成英语、日语或广东话。没有 NVIDIA 显卡也没关系,CPU 就能跑;有 Intel 核显的话,还能再快 5 倍。

如果你也试了 CosyVoice 3,或者想看其他模型的实测,欢迎到 Threads 或 X 留言。