CosyVoice 3: клонирование голоса нейросетью на CPU
Клонирование голоса по 8-секундной записи, в том числе на китайских диалектах. Запуск на CPU: установка, клонирование и команды на практике.

В прошлой статье я сравнил несколько открытых TTS-моделей (синтез речи из текста) и обещал потом разобрать каждую подробно. Эта статья — о CosyVoice 3: по записи длиной всего 8 секунд модель произносит новые фразы голосом человека на записи, а ещё умеет говорить на китайских диалектах, например на кантонском и сычуаньском.
В моём ноутбуке нет видеокарты NVIDIA, но CosyVoice 3 работает и на одном CPU. Генерация одной реплики занимает около двух минут, так что удобно составить сразу целую пачку реплик и оставить их генерироваться в фоне. Если в компьютере есть встроенная графика Intel, её можно задействовать для ускорения, и тогда выходит примерно в 5 раз быстрее. Ниже — весь процесс установки с подводными камнями и демонстрация клонирования моего собственного голоса.
Что такое CosyVoice 3? Можно ли использовать в коммерческих целях?
CosyVoice — открытая модель синтеза речи от Alibaba (в исходном коде указан копирайт Alibaba Inc.). Самая свежая открытая версия — Fun-CosyVoice3-0.5B-2512, вышедшая в декабре 2025 года. Данные ниже я взял со страницы модели на Hugging Face и проверил 21.11.2026:
Параметр | Значение |
|---|---|
Число параметров | 0.5B (500 миллионов) |
Лицензия | Apache-2.0, коммерческое использование разрешено |
Языки | Китайский, английский, японский, корейский, немецкий, испанский, французский, итальянский и русский, всего 9 |
Китайские диалекты | Больше 18, например кантонский, миньнань, сычуаньский, северо-восточный, шанхайский |
Клонирование голоса | По одному образцу голоса, в том числе на другом языке (голос с китайской записи читает текст по-английски) |
Управление командами | Одной фразой задаются диалект, темп, громкость и эмоция |
Согласно официальной таблице оценок, на китайском тестовом наборе у CosyVoice 3 доля ошибок в символах (CER) ниже, чем у предыдущей версии CosyVoice 2, а сходство голоса с оригиналом выше.
Есть ли CosyVoice 3.5 в открытом доступе?
Нет. Alibaba представила CosyVoice 3.5 в марте 2026 года, но пока она доступна только через API Alibaba Cloud Model Studio, причём только в пекинском регионе. На 21.11.2026 весов версии 3.5 на Hugging Face нет, а в issue на GitHub пользователи спрашивают, опубликуют ли её в открытом доступе, но официального ответа нет. Если нужна модель для запуска на своём компьютере с лицензией, разрешающей коммерческое использование, пока остаётся версия 3.0.
И ещё: репозиторий CosyVoice на GitHub переехал из FunAudioLLM/CosyVoice в QwenAudio/CosyVoice, со старого адреса работает автоматическое перенаправление.
Системные требования: пойдёт ли без видеокарты NVIDIA?
Пойдёт, только медленнее. У меня ноутбук с Intel Core Ultra 5 322 (6 ядер) и встроенной графикой Panther Lake, дискретной видеокарты нет. Результаты генерации одной и той же китайской реплики длиной около 8 секунд:
На чём запускал | Время генерации | Коэффициент времени (меньше — быстрее) |
|---|---|---|
CPU (6 ядер) | 115 с | 15,6 |
Встроенная графика Intel (PyTorch XPU) | 21,5 с | 2,5 |
Плюс около 12 секунд на загрузку модели. Если генерировать пачку реплик на встроенной графике, модель загружается один раз, и реплика длиной 4–6 секунд готова за 15–30 секунд.
Официальная установка рассчитана на видеокарты NVIDIA (CUDA). Для встроенной графики Intel нужно несколько дополнительных шагов, о них ниже.
Установка CosyVoice 3 (версия для CPU)
У меня Linux (Arch), а окружениями Python я управляю через uv.
1. Скачиваем код
mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repoФлаг --recursive обязателен: используемый внутри Matcha-TTS подключён как подмодуль.
2. Создаём окружение и ставим пакеты
В официальном requirements.txt есть PyTorch с CUDA, TensorRT и DeepSpeed. Без видеокарты NVIDIA всё это не нужно. Я поставил только необходимые пакеты и выбрал версию PyTorch для CPU:
uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
--index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
"torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hubЗдесь я столкнулся с тремя проблемами:
openai-whisperне собирается: его установщику нуженpkg_resources, а в новых версиях setuptools его убрали. Сначала ставимsetuptools<81, а сборку пакета выносим из изолированного окружения (--no-build-isolation-package).- Без
lightningиrichмодель не загружается: оба пакета нужны для загрузки конфигурации модели, так что их тоже ставим. - Сообщение
no frontend is avaliable: пакет нормализации текста wetext скачивает данные с ModelScope, и у меня сервер вернул ошибку доступа (403). Генерация работает и без него, да и сама CosyVoice 3 справляется с обычными числами и символами, ниже есть проверка.
3. Скачиваем модель (можно сэкономить 4 ГБ)
Полный набор файлов модели занимает около 9,8 ГБ, но часть из них в этой установке не используется — их можно пропустить:
from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
local_dir="models/Fun-CosyVoice3-0.5B",
ignore_patterns=["flow.decoder.estimator.fp32.onnx", # для TensorRT
"speech_tokenizer_v3.batch.onnx", # для пакетного инференса
"llm.rl.pt"]) # версия с обучением с подкреплением, по умолчанию не загружаетсяПосле скачивания остаётся 5,1 ГБ.
4. Генерируем первую фразу
У промпта CosyVoice 3 фиксированный формат: в начале должна стоять строка You are a helpful assistant.<|endofprompt|>. Адаптированный код из официального example.py:
import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"
# Клонирование голоса: образец голоса + его расшифровка
out = m.inference_zero_shot("Текст реплики", SYS + "Что сказано в образце голоса", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)Три основных способа:
Функция | Для чего |
|---|---|
| Наиболее точное клонирование голоса. Нужна расшифровка образца |
| Расшифровка не нужна, подходит для другого языка, например голос с китайской записи читает текст по-английски |
| Одной фразой задаются диалект, темп, эмоция. Формат команды ниже |
Команда записывается так: "You are a helpful assistant. 请用广东话表达。<|endofprompt|>". В начале та же фиксированная фраза, в середине сама команда, в конце <|endofprompt|>.
Я обернул всё это в одну команду в ~/tools/cosyvoice/, которую можно вызывать из любого проекта.
Продвинутый вариант: в 5 раз быстрее на встроенной графике Intel (PyTorch XPU)
Бэкенд PyTorch для графики Intel называется XPU. В PyTorch 2.3.1, который используется в CosyVoice, XPU ещё нет, поэтому я сделал отдельное окружение, а CPU-окружение не трогал.
1. Ставим вычислительный драйвер Intel
В обычной настольной системе установлен только драйвер для вывода изображения. Чтобы PyTorch мог выполнять вычисления на графическом чипе, нужен ещё вычислительный драйвер Intel (Level Zero). В Arch Linux:
sudo pacman -S intel-compute-runtime2. Ставим PyTorch с XPU
uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"Если вывелось True Intel(R) Graphics, встроенная графика найдена. У меня установился PyTorch 2.14.1.
Затем ставим в это окружение пакеты из списка выше, добавив -c с файлом ограничений версий. В этом файле нужно прописать уже установленную версию torch, чтобы при установке других пакетов torch не заменился на версию без XPU.
3. Удаляем конфликтующий triton
После установки при выполнении import transformers возникла ошибка cannot import name 'make_tensordesc_args'. Причина: вместе с openai-whisper установился старый triton, который стал использоваться вместо triton-xpu, нужного PyTorch с XPU. Удаляем старую версию и переустанавливаем triton-xpu:
VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
--index-url https://download.pytorch.org/whl/xpu triton-xpu4. Переносим модель на встроенную графику
Код CosyVoice поддерживает только CUDA: если видеокарты NVIDIA нет, модель автоматически запускается на CPU. Официальный код я не правил, а загружаю модель на CPU и потом переношу три основные сети на встроенную графику:
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = devТак обновление официального кода потом не вызовет конфликтов. При первом запуске на встроенной графике выполняется компиляция. Это занимает дополнительно чуть больше десяти секунд, дальше всё работает как обычно.
Тест 1: клонирую собственный голос
Я записал на телефон 8 секунд своего голоса и использовал их как образец для клонирования.
Внимание: во всех аудиопримерах этой статьи звучит голос автора, Terry L, или его клон. Все права защищены. Не скачивайте, не публикуйте повторно и не используйте нигде больше (в том числе для клонирования).
Следующую фразу я никогда не произносил. CosyVoice 3 создала её по записи выше:
Обратите внимание: образец записан по-китайски, а фразу модель произнесла по-русски. Это и есть межъязыковое клонирование.
По-моему, сгенерированный голос очень похож на мой.
Межъязыковое клонирование: та же китайская запись подходит и для английского, японского или кантонского:
Английский, японский и кантонский фрагменты я дополнительно прогнал через распознавание речи (Whisper) и сверил текст: всё верно, без лишних слов и пропусков.
Как записать образец голоса?
- Хватит 5–10 секунд. Я пробовал образец на 20 секунд, и генерация замедлилась в 2–3 раза.
- Тишина и только один говорящий: фоновая музыка и шум тоже клонируются.
- Нужна расшифровка: для
inference_zero_shotрасшифровка должна совпадать с записью слово в слово. Если не знаете точный текст, сначала расшифруйте запись с помощью Whisper или используйтеinference_cross_lingual. - Тихую запись сначала сделайте громче: средняя громкость записи с моего телефона была всего -31 дБ, поэтому перед клонированием я обрезал тишину в начале и в конце и выровнял громкость.
Интонация и темп тоже клонируются
CosyVoice 3 клонирует не только тембр: темп, интонация и изменения высоты тона тоже воспроизводятся по образцу. В inference_zero_shot запись и её расшифровка воспринимаются как «то, что уже было сказано», и модель продолжает дальше, сохраняя ту же манеру речи.
В моём тесте исходная запись звучала в темпе около 4,3 китайских иероглифа в секунду, а клонированная китайская фраза — около 4,4, то есть очень близко. Но так бывает не всегда: та же фраза с другим seed замедлилась до 3,6 иероглифа в секунду, а клонированная реплика Артура вышла чуть быстрее образца. Так что для важных реплик лучше сгенерировать несколько вариантов и выбрать лучший.
Что из этого следует:
- Какая интонация нужна, такую и записывайте: для злой реплики запишите злой образец, для мягкой и медленной — читайте образец медленно. Для одного персонажа можно подготовить несколько образцов, например с обычной и взволнованной речью, а также с шёпотом.
- Недостатки образца тоже копируются: если читать слишком быстро, монотонно или с эхом и шумом, клон получится таким же.
- Тонко настроить речь можно тремя способами: задать параметр
speed, который напрямую ускоряет или замедляет речь; передать команду черезinference_instruct2, например «请用尽可能慢地语速说一句话。» («говори как можно медленнее»); или перейти наinference_cross_lingual.
Из исходного кода видно, что inference_cross_lingual не передаёт образец языковой модели, которая отвечает за ритм. Образец задаёт только тембр, поэтому ритм записи воспроизводится в меньшей степени.
Тест 2: озвучиваю робота-бармена Артура
Главная страница сайта, terryl.in, — это лунная база: небольшая 3D-игра, где можно водить астронавта по базе, выйти через шлюз на поверхность Луны или заглянуть в бар за фирменным коктейлем. Этот блог рассказывает, как база строится. В баре работает робот-бармен Артур. Это отсылка к андроиду-бармену Артуру из фильма «Пассажиры» (Passengers, 2016), несколько его реплик тоже адаптированы из диалогов фильма. В фильме Артура играет Майкл Шин, но его голос я здесь намеренно не копирую.
В этом разделе я снова беру свой голос (ту же 8-секундную запись) и озвучиваю им реплики Артура, чтобы проверить другой язык и произношение.
Если модель неправильно читает китайский иероглиф с несколькими чтениями, можно прямо в тексте реплики указать пиньинь в виде [h][áng]. Для английских слов произношение задаётся фонемами CMU. У меня такое случилось один раз: в реплике из теста с метками дыхания и смеха (ниже) иероглиф 尷 при первой генерации прозвучал неправильно. Я заменил его на [g][ān], повторил генерацию, и модель прочитала всё верно.
Японский текст нужно записывать катаканой
В официальном примере отдельно сказано: японский текст перед вводом нужно записать катаканой. Я попробовал оба варианта. Когда я вводил текст с кандзи и хираганой, результат распознавания речи сильно отличался от исходного текста: часть слов прозвучала неправильно. С катаканой всё было верно.
Для японской озвучки можно попросить ИИ-ассистента для программирования записать реплики катаканой, а потом передать их CosyVoice.
Тест 3: управляю диалектом, эмоцией и темпом через команды
inference_instruct2 принимает команду из одной фразы. В официальном коде перечислены поддерживаемые команды: 17 китайских диалектов, а также команды для управления громкостью, темпом и эмоциями и команда «говорить как робот».
Команды пишите на упрощённом китайском или на английском. Большинство официальных команд написаны на упрощённом китайском, а две команды для управления громкостью — на английском («Please say a sentence as loudly as possible.» и «Please say a sentence in a very soft voice.»). Если не знаете китайского, используйте английские команды.
Я проверил три варианта команды «как можно медленнее» на одной и той же реплике:
Команда | Длительность реплики |
|---|---|
Без команды | Около 4–5 с |
Упрощённый китайский «请用尽可能慢地语速说一句话。» | 8,2 с |
Английский «Please say a sentence as slowly as possible.» | 8,5 с |
Традиционный китайский «請用盡可能慢地語速說一句話。» | 5,3 с |
Команды на упрощённом китайском и английском заметно замедлили речь, а команда на традиционном китайском почти не дала эффекта. Английской команды нет в официальном списке, но она всё равно работает.
Во всех примерах ниже моим голосом звучит реплика «歡迎來到月球基地的酒吧。今天想喝點什麼?» («Добро пожаловать в бар лунной базы. Что будете пить сегодня?»):
Для кантонского реплику нужно писать кантонскими иероглифами (嚟, 嘅, 啲, 咩), тогда распознавание речи возвращает полностью правильный текст.
А миньнань (хоккиен)?
В официальном списке диалектов есть миньнань (хоккиен). Я попробовал команду «请用闽南话表达。», но на слух результат совсем не похож на тайваньский хоккиен (Taiwanese Hokkien), и интонация тоже неправильная.
Метки дыхания и смеха
В реплику можно вставлять метки вроде [breath] (вдох), <laughter>…</laughter> (говорить со смехом) и <strong>…</strong> (выделить интонацией):
Честно говоря, ни вдоха, ни смеха я не услышал. По крайней мере, в этом тесте метки заметного эффекта не дали, так что многого от них не ждите.
Числа и время
Как я уже писал, в моём окружении нет пакета нормализации текста. Проверил китайскую реплику с числами и временем:
«120», скидка и «23:30» прочитаны правильно. Даже без пакета нормализации текста CosyVoice 3 справляется с обычными числами и временем.
А вот сложные записи, например телефонные номера, номера версий, даты или время, надёжнее писать словами, китайскими иероглифами.
CosyVoice 3 в сравнении с другими открытыми TTS
По сравнению с моделями из прошлой статьи у CosyVoice 3 такие особенности:
- Клонирование на китайском намного лучше, чем у китайской версии Chatterbox: я сравнил их на одном и том же образце и одних и тех же репликах. Chatterbox многие слова произнёс невнятно или с ошибками, качество очень слабое. Если нужно клонировать голос на китайском, Chatterbox можно пропустить и не тратить время на тесты.
- Клонирование голоса плюс управление командами: CosyVoice 3 одной фразой задаёт диалект, эмоцию и темп, а Kokoro поддерживает только встроенные голоса и не умеет клонировать голос.
- Традиционные китайские иероглифы можно вводить как есть: большинство моих реплик на традиционном китайском прочитано верно, а отдельные ошибки исправляются упрощённым иероглифом или пиньинем. Переводить всю фразу в упрощённый китайский, как в Qwen3-TTS, не нужно.
- Языков меньше: всего 9. Многоязычная версия Chatterbox поддерживает 23, а, например, вьетнамский, индонезийский и турецкий CosyVoice 3 не поддерживает.
- Намного медленнее Kokoro: Kokoro на CPU генерирует реплику за десяток с лишним секунд, а CosyVoice 3 становится практичной только на встроенной графике.
Можно ли клонировать чужой голос?
Технически можно клонировать любой голос, если есть чистая запись, и получается очень хорошо. Именно поэтому клонируйте только свой голос или голос человека, который дал согласие. Голоса известных людей защищены их личными неимущественными правами, а если сгенерировать чужим голосом слова, которых человек не произносил, это может оказаться мошенничеством или клеветой.
Лицензия Apache-2.0 разрешает коммерческое использование самой модели CosyVoice 3, но не даёт права использовать чей угодно голос. Я поступаю так: беру свой голос или создаю исходную запись голоса персонажа с помощью одного из встроенных голосов открытой модели вроде Kokoro, а потом клонирую уже его.
Частые вопросы
Можно ли использовать CosyVoice 3 в коммерческих целях?
Можно. Fun-CosyVoice3-0.5B-2512 распространяется по лицензии Apache-2.0, которая разрешает коммерческое использование. Но на записи должен звучать ваш голос или голос человека, который дал согласие.
Поддерживает ли CosyVoice 3 русский язык?
Да, русский входит в 9 поддерживаемых языков. Фраза в начале теста 1 сгенерирована по-русски моим клонированным голосом, хотя образец записан по-китайски.
Как бесплатно клонировать голос без видеокарты NVIDIA?
Запускать CosyVoice 3 на CPU: генерация 8-секундной реплики занимает почти две минуты. На встроенной графике Intel (PyTorch XPU) — около 20 секунд. Для этого нужно поставить вычислительный драйвер Intel и PyTorch с XPU.
Говорит ли CosyVoice 3 на кантонском и других китайских диалектах?
На кантонском — да. Лучше всего, если реплика записана кантонскими иероглифами (嚟, 嘅, 啲). В официальном списке есть и миньнань, но в моём тесте он не был похож на тайваньский хоккиен, и интонация была неправильной.
Есть ли CosyVoice 3.5 в открытом доступе?
На 21.11.2026 нет. CosyVoice 3.5 доступна только через API Alibaba Cloud Model Studio, весов на Hugging Face нет.
Какой длины должна быть запись для клонирования голоса?
Хватит 5–10 секунд. Записывайте в тишине: в записи должен звучать голос только одного человека. Приложите точную расшифровку. Чем длиннее образец, тем медленнее генерация.
Итог: 8 секунд записи — и озвучка вашим голосом
CosyVoice 3 впервые убедила меня, что озвучивать игры и видео собственным голосом реально: записываешь 8 секунд, а все остальные реплики читает модель, причём ещё и по-английски, по-японски или по-кантонски. Нет видеокарты NVIDIA — не беда, работает на CPU, а со встроенной графикой Intel ещё примерно в 5 раз быстрее.
Если вы тоже попробовали CosyVoice 3 или хотите увидеть тесты других моделей, пишите в Threads или в X.
