CosyVoice 3 : clonage de voix IA gratuit, même sur CPU
Clonage de voix IA gratuit : 8 secondes d'enregistrement pour cloner sa voix, même en cantonais. Tourne sur CPU : installation et tests.

Dans mon article précédent, « Voix IA gratuite en jeu : Kokoro, Chatterbox, TTS open source », j'ai comparé plusieurs modèles TTS (synthèse vocale) open source, en promettant de les présenter ensuite un à un. Voici le premier : CosyVoice 3. Avec seulement 8 secondes d'enregistrement, il prononce de nouvelles phrases avec la voix de la personne enregistrée, et il parle même des dialectes chinois comme le cantonais ou le sichuanais.
Mon portable n'a pas de carte graphique NVIDIA, et pourtant CosyVoice 3 tourne uniquement sur le CPU : environ deux minutes par réplique. C'est parfait pour lancer tout un lot de répliques et le laisser tourner en arrière-plan. Si votre machine a un GPU intégré Intel, vous pouvez aussi vous en servir pour aller environ 5 fois plus vite. Cet article détaille toute l'installation, les pièges que j'ai rencontrés, ainsi qu'une démonstration de clonage de ma propre voix.
CosyVoice 3, c'est quoi ? Peut-on l'utiliser commercialement ?
CosyVoice est un modèle de génération vocale open source publié par Alibaba (le copyright du code source est au nom d'Alibaba Inc.). La dernière version open source est Fun-CosyVoice3-0.5B-2512, sortie en décembre 2025. Les informations ci-dessous viennent de sa page Hugging Face, consultée le 21/11/2026 :
Élément | Détail |
|---|---|
Paramètres | 0,5B (500 millions) |
Licence | Apache-2.0, usage commercial autorisé |
Langues | chinois, anglais, japonais, coréen, allemand, espagnol, français, italien, russe : 9 au total |
Dialectes chinois | plus de 18, dont le cantonais, le minnan, le sichuanais, le dialecte du Nord-Est et le shanghaïen |
Clonage de voix | un extrait de voix de référence suffit, y compris d'une langue à l'autre (une voix chinoise qui parle anglais) |
Contrôle par instruction | une phrase pour choisir le dialecte, le débit, le volume ou l'émotion |
Dans les tests de performance officiels, CosyVoice 3 obtient sur le jeu de test chinois un taux d'erreur par caractère (CER) plus faible et une similarité vocale plus élevée que la génération précédente, CosyVoice 2.
CosyVoice 3.5 est-il open source ?
Non. Alibaba a présenté CosyVoice 3.5 en mars 2026, mais on ne peut l'utiliser que via l'API d'Alibaba Cloud Model Studio (Bailian), et uniquement dans la région de Pékin. Au 21/11/2026, il n'y a pas de poids 3.5 sur Hugging Face ; sur GitHub, un utilisateur a demandé dans une issue si les poids seraient publiés, sans obtenir de réponse officielle. Pour faire tourner le modèle sur sa propre machine avec une licence commerciale, c'est donc la 3.0 qu'il faut prendre.
À noter : le dépôt GitHub de CosyVoice a déménagé de FunAudioLLM/CosyVoice vers QwenAudio/CosyVoice ; l'ancienne adresse redirige automatiquement vers le nouveau dépôt.
Configuration requise : ça tourne sans carte graphique NVIDIA ?
Oui, simplement plus lentement. Mon portable a un Intel Core Ultra 5 322 (6 cœurs) avec un GPU intégré Panther Lake, sans carte graphique dédiée. Pour la même réplique en chinois d'environ 8 secondes :
Matériel | Temps de génération | Facteur temps réel (plus bas = plus rapide) |
|---|---|---|
CPU (6 cœurs) | 115 s | 15,6 |
GPU intégré Intel (PyTorch XPU) | 21,5 s | 2,5 |
Il faut compter en plus environ 12 secondes pour charger le modèle. En générant un lot de répliques sur le GPU intégré, le modèle n'est chargé qu'une fois, et une réplique de 4 à 6 secondes prend environ 15 à 30 secondes.
L'installation officielle est pensée pour les cartes NVIDIA (CUDA). Avec un GPU intégré Intel, il y a quelques étapes en plus, que je détaille plus bas.
Installer CosyVoice 3 (version CPU)
Mon environnement : Linux (Arch), avec Python géré par uv.
1. Télécharger le code
mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repoL'option --recursive est indispensable : Matcha-TTS, dont CosyVoice a besoin, est un sous-module.
2. Créer l'environnement et installer les paquets
Le fichier requirements.txt officiel contient PyTorch en version CUDA, TensorRT et DeepSpeed ; sans carte NVIDIA, je n'en ai pas l'usage. J'installe seulement les paquets vraiment nécessaires, avec PyTorch en version CPU :
uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
--index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
"torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hubTrois pièges ici :
- La compilation d'
openai-whisperéchoue : son programme d'installation a besoin depkg_resources, retiré des versions récentes de setuptools. Il faut d'abord installersetuptools<81, puis lui interdire de compiler dans un environnement isolé (--no-build-isolation-package). - Sans
lightningetrich, le modèle ne se charge pas : le fichier de configuration du modèle utilise ces deux paquets, il faut donc les installer aussi. - Le message
no frontend is avaliable: le paquet de normalisation de texte wetext doit télécharger des données depuis ModelScope, et chez moi la requête a été refusée (403). La génération fonctionne quand même, et CosyVoice 3 gère seul les nombres et symboles courants ; je le teste plus bas.
3. Télécharger le modèle (et économiser 4 Go)
Le modèle complet pèse environ 9,8 Go, mais quelques fichiers ne servent pas pour cette installation et peuvent être ignorés :
from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
local_dir="models/Fun-CosyVoice3-0.5B",
ignore_patterns=["flow.decoder.estimator.fp32.onnx", # pour TensorRT
"speech_tokenizer_v3.batch.onnx", # pour l'inférence par lots
"llm.rl.pt"]) # version RL, non chargée par défautAprès téléchargement, le modèle occupe 5,1 Go.
4. Générer une première phrase
Le prompt de CosyVoice 3 a un format fixe : il doit commencer par You are a helpful assistant.<|endofprompt|>. Voici une adaptation du fichier example.py officiel :
import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"
# Clonage de voix : audio de référence + transcription de cet audio
out = m.inference_zero_shot("Texte à prononcer", SYS + "Ce que dit l'audio de référence", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)Les trois fonctions principales :
Fonction | Usage |
|---|---|
| Clonage de voix, le plus fidèle. Il faut fournir la transcription de l'audio de référence |
| Pas besoin de transcription, idéal pour changer de langue, par exemple faire parler anglais une voix chinoise |
| Une phrase pour imposer un dialecte, un débit ou une émotion. Format de l'instruction ci-dessous |
L'instruction s'écrit ainsi : "You are a helpful assistant. 请用广东话表达。<|endofprompt|>". On retrouve le même début fixe, l'instruction au milieu, et <|endofprompt|> à la fin.
J'ai regroupé tout ça dans une commande, placée dans ~/tools/cosyvoice/, que je peux appeler depuis n'importe quel projet.
Aller plus loin : 5 fois plus rapide avec le GPU intégré Intel (PyTorch XPU)
Dans PyTorch, le backend pour les puces graphiques Intel s'appelle XPU. La version 2.3.1 de PyTorch utilisée par CosyVoice ne le prend pas encore en charge : j'ai donc créé un second environnement, sans toucher à celui de la version CPU.
1. Installer le pilote de calcul Intel
Un système de bureau classique n'a que le pilote d'affichage. Pour que PyTorch puisse calculer sur la puce graphique, il faut aussi le pilote de calcul Intel (Level Zero). Sous Arch Linux :
sudo pacman -S intel-compute-runtime2. Installer PyTorch en version XPU
uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"Si la commande affiche True Intel(R) Graphics, le GPU intégré est bien détecté. Chez moi, c'est PyTorch 2.14.1 qui s'est installé.
Installez ensuite dans cet environnement les paquets listés plus haut, en ajoutant -c avec un fichier de contraintes de versions. Ce fichier doit fixer la version de torch actuellement installée, pour éviter que l'installation d'autres paquets ne la remplace par une version sans XPU.
3. Supprimer la version de triton qui crée un conflit
Après l'installation, import transformers échoue avec l'erreur cannot import name 'make_tensordesc_args'. La cause : openai-whisper a installé au passage une ancienne version de triton, qui écrase le triton-xpu dont PyTorch XPU a besoin. Il suffit de supprimer l'ancienne version et de réinstaller triton-xpu :
VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
--index-url https://download.pytorch.org/whl/xpu triton-xpu4. Déplacer le modèle sur le GPU intégré
Le code de CosyVoice ne connaît que CUDA : sans carte NVIDIA, il bascule automatiquement sur le CPU. Plutôt que de modifier le code officiel, je charge d'abord le modèle sur le CPU, puis je déplace ses trois réseaux principaux sur le GPU intégré :
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = devComme ça, les mises à jour du code officiel ne créent pas de conflit. La première exécution sur le GPU intégré passe par une compilation qui ajoute une dizaine de secondes ; les exécutions suivantes se déroulent normalement.
Test 1 : cloner sa voix, démonstration avec la mienne
J'ai enregistré 8 secondes de ma voix avec mon téléphone pour servir de référence au clonage.
Avertissement : tous les extraits audio de cet article font entendre ma voix (Terry L) ou des clones de celle-ci. Tous droits réservés : merci de ne pas les télécharger, les republier ni les utiliser ailleurs (y compris pour cloner ma voix).
Je n'ai jamais prononcé la phrase suivante, ni en français ni dans aucune autre langue : CosyVoice 3 l'a générée en français à partir de l'enregistrement chinois ci-dessus.
Je trouve que la voix générée me ressemble énormément.
Clonage de voix d'une langue à l'autre : la démonstration ci-dessus en est déjà un exemple, puisque la référence est en chinois. Le même enregistrement permet aussi de parler anglais, japonais ou cantonais :
J'ai repassé les extraits anglais, japonais et cantonais dans un outil de reconnaissance vocale (Whisper) pour comparer le texte : tout était juste, sans mot en trop ni mot manquant.
Comment enregistrer la voix de référence ?
- 5 à 10 secondes suffisent. J'ai aussi essayé une référence de 20 secondes : la génération prenait 2 à 3 fois plus de temps.
- Un endroit calme, une seule personne qui parle : la musique de fond et les bruits sont clonés aussi.
- Fournissez la transcription : avec
inference_zero_shot, elle doit correspondre mot pour mot à l'enregistrement. Si vous ne connaissez pas le texte exact, passez d'abord l'audio dans Whisper, ou utilisezinference_cross_lingual. - Montez le volume s'il est trop faible : mon enregistrement au téléphone avait un volume moyen de -31 dB seulement. J'ai coupé les silences au début et à la fin et ajusté le volume avant le clonage.
Le ton et le débit sont clonés aussi
CosyVoice 3 ne clone pas seulement le timbre : le débit, le ton et les variations de hauteur suivent aussi l'enregistrement de référence. Avec inference_zero_shot, la référence et sa transcription sont traitées comme « ce qui vient d'être dit », et le modèle continue sur sa lancée, avec la même façon de parler.
Dans mes tests, le débit de mon enregistrement original est d'environ 4,3 caractères chinois par seconde, contre environ 4,4 pour une phrase chinoise générée à partir de cet enregistrement : un débit très proche. Mais ce n'est pas toujours aussi régulier : le débit de la même phrase, générée avec une autre graine aléatoire, est descendu à 3,6 caractères par seconde, et la réplique d'Arthur clonée en chinois était un peu plus rapide que la référence. Pour les répliques importantes, mieux vaut générer plusieurs versions et choisir.
En pratique :
- Enregistrez le ton que vous voulez obtenir : pour une réplique en colère, enregistrez une référence en colère ; pour une voix douce et lente, lisez lentement. Un même personnage peut avoir plusieurs références, par exemple sur un ton normal, agité ou chuchoté.
- Les défauts de la référence sont copiés aussi : si la voix de référence est trop rapide, trop plate, ou si l'enregistrement contient de l'écho ou du bruit, ces défauts se retrouveront dans le clone.
- Trois façons d'ajuster : le paramètre
speedpour accélérer ou ralentir directement ; une instruction avecinference_instruct2, par exemple « 请用尽可能慢地语速说一句话。 » ; ou passer àinference_cross_lingual.
Le code source montre que inference_cross_lingual ne transmet pas l'enregistrement de référence au modèle de langage qui décide du rythme : la référence ne sert qu'au timbre, donc le rythme de l'enregistrement est moins fidèlement reproduit.
Test 2 : doubler Arthur, le robot barman
Sur la page d'accueil de mon site, il y a une base lunaire en 3D avec un bar, tenu par Arthur, un robot barman. Ce personnage est un hommage à Arthur, le barman androïde du film Passengers (2016), et certaines de ses répliques sont adaptées du film. Dans le film, Arthur est joué par Michael Sheen ; ici, j'ai choisi de ne pas imiter sa voix.
Dans cette partie, j'utilise toujours ma propre voix (le même enregistrement de 8 secondes) pour lire les répliques d'Arthur.
Si un mot est mal prononcé, CosyVoice 3 accepte des indications de prononciation directement dans le texte : pour le chinois, on peut écrire le pinyin d'un caractère qui a plusieurs prononciations, par exemple [h][áng] ; pour l'anglais, on peut imposer la prononciation d'un mot avec les phonèmes CMU. Ça m'est arrivé une fois : dans une réplique en chinois, le caractère « 尷 » était mal lu. Je l'ai remplacé par [g][ān], et après une nouvelle génération, sa prononciation était correcte.
Le japonais doit être saisi en katakana
Les exemples officiels le précisent : le japonais doit être converti en katakana avant d'être saisi. J'ai testé les deux : avec les kanji et les hiragana, la transcription par reconnaissance vocale était très différente du texte, avec plusieurs mots mal prononcés ; en katakana, tout était juste.
Pour un doublage en japonais, on peut demander à un assistant de code IA de convertir d'abord les répliques en katakana, puis de les transmettre à CosyVoice.
Test 3 : contrôler le dialecte, l'émotion et le débit par instruction
inference_instruct2 accepte une instruction d'une phrase. Le code officiel liste les instructions prises en charge : 17 dialectes, plus le volume, le débit, l'émotion, et même « parler comme un robot ».
L'instruction peut être écrite en chinois simplifié ou en anglais. La plupart des instructions officielles sont en chinois simplifié ; les deux instructions de volume sont en anglais (« Please say a sentence as loudly as possible. » et « Please say a sentence in a very soft voice. »).
J'ai testé trois façons de demander le débit le plus lent possible pour la même réplique :
Instruction | Durée de la réplique |
|---|---|
Sans instruction | environ 4 à 5 s |
Chinois simplifié « 请用尽可能慢地语速说一句话。 » | 8,2 s |
Anglais « Please say a sentence as slowly as possible. » | 8,5 s |
Chinois traditionnel « 請用盡可能慢地語速說一句話。 » | 5,3 s |
Les instructions en chinois simplifié et en anglais ralentissent nettement le débit ; le chinois traditionnel n'a presque aucun effet. L'instruction en anglais ne figure pas dans la liste officielle, mais elle fonctionne : si vous ne lisez pas le chinois, écrivez vos instructions en anglais.
Tous les extraits ci-dessous utilisent ma voix, avec la réplique « 歡迎來到月球基地的酒吧。今天想喝點什麼? » (Bienvenue au bar de la base lunaire. Qu'est-ce que je vous sers aujourd'hui ?) :
Pour le cantonais, la réplique doit être écrite avec les caractères propres au cantonais (嚟, 嘅, 啲, 咩) : c'est seulement comme ça que la transcription par reconnaissance vocale est parfaitement juste.
Et le minnan (hokkien) ?
La liste officielle des dialectes inclut le minnan (hokkien). Avec la même réplique et l'instruction « 请用闽南话表达。 », le résultat ne ressemble pas du tout au hokkien taïwanais (Taiwanese Hokkien) à mes oreilles, et l'intonation n'est pas la bonne.
Balises de respiration et de rire
On peut ajouter dans le texte des balises comme [breath] (respiration), <laughter>…</laughter> (parler en riant) ou <strong>…</strong> (insister) :
Honnêtement, je n'entends ni la respiration ni le rire. En tout cas, dans ce test, ces balises n'ont pas d'effet notable : n'en attendez pas trop.
Nombres et heures
Comme je l'ai dit plus haut, le paquet de normalisation de texte manque dans mon environnement. J'ai testé une réplique avec des nombres et une heure :
« 120 元 », « 8 折 » et « 23:30 » sont tous bien prononcés. Même sans le paquet de normalisation, CosyVoice 3 gère les nombres et les heures courants.
En revanche, pour les formats plus compliqués comme les numéros de téléphone, les numéros de version, les dates ou les heures, il est plus sûr de les écrire en caractères chinois. Une heure peut par exemple s'écrire « 十一點半 » (onze heures et demie).
CosyVoice 3 face aux autres TTS open source
Par rapport aux modèles présentés dans l'article précédent, voici ce qui distingue CosyVoice 3 :
- Un clonage de voix en chinois bien meilleur qu'avec la version chinoise de Chatterbox : avec le même enregistrement de référence et les mêmes répliques, j'ai fait la comparaison avec Chatterbox en chinois. Beaucoup de mots étaient mal articulés ou incorrects ; la qualité était très mauvaise. Pour cloner une voix en chinois, vous pouvez vous passer de Chatterbox sans perdre de temps à le tester.
- Clonage de voix et contrôle par instruction : CosyVoice 3 permet de choisir le dialecte, l'émotion et le débit en une phrase ; Kokoro n'a que des voix intégrées et ne sait pas cloner.
- Chinois traditionnel accepté tel quel : la plupart de mes répliques en chinois traditionnel étaient bien lues, sans devoir tout convertir en simplifié comme avec Qwen3-TTS.
- Moins de langues : 9 seulement. La version multilingue de Chatterbox en gère 23 ; le vietnamien, l'indonésien ou le turc, par exemple, ne sont pas pris en charge par CosyVoice 3.
- Beaucoup plus lent que Kokoro : Kokoro génère une réplique en une dizaine de secondes sur CPU ; CosyVoice 3 n'est vraiment pratique qu'avec le GPU intégré.
Peut-on cloner la voix de quelqu'un d'autre ?
Techniquement, il suffit d'un enregistrement propre pour cloner la voix de n'importe qui, et le résultat est très convaincant. C'est justement pour ça qu'il faut cloner uniquement sa propre voix, ou celle d'une personne qui a donné son accord. La voix des personnalités est protégée par les droits de la personnalité, et faire dire à quelqu'un des choses qu'il n'a jamais dites peut relever de l'escroquerie ou de la diffamation.
La licence Apache-2.0 de CosyVoice 3 autorise l'usage commercial du modèle lui-même ; elle ne vous donne pas le droit d'utiliser la voix de n'importe qui. Ma méthode : utiliser ma propre voix, ou créer la voix d'un personnage à partir des voix intégrées d'un modèle open source comme Kokoro, puis la cloner.
Questions fréquentes
CosyVoice 3 est-il utilisable commercialement ?
Oui. Fun-CosyVoice3-0.5B-2512 est sous licence Apache-2.0, qui autorise l'usage commercial. Mais la voix de référence doit être la vôtre, ou celle d'une personne qui a donné son accord.
Le clonage de voix en français fonctionne-t-il avec CosyVoice 3 ?
Oui. Le français fait partie des 9 langues prises en charge (chinois, anglais, japonais, coréen, allemand, espagnol, français, italien, russe). Dans cet article, ma voix clonée parle français à partir d'un enregistrement de référence en chinois.
CosyVoice 3 parle-t-il cantonais ou hokkien ?
Le cantonais, oui : le résultat est meilleur quand la réplique est écrite avec les caractères propres au cantonais (嚟, 嘅, 啲). La liste officielle des dialectes inclut le minnan (hokkien), mais à l'écoute, ça ne ressemble pas au hokkien taïwanais et l'intonation n'est pas bonne.
Peut-on faire tourner CosyVoice 3 sans carte graphique NVIDIA ?
Oui. Sur CPU, une réplique de 8 secondes prend près de deux minutes ; avec le GPU intégré Intel (PyTorch XPU), environ 20 secondes. Il faut d'abord installer le pilote de calcul Intel et PyTorch en version XPU.
CosyVoice 3.5 est-il open source ?
Pas au 21/11/2026. CosyVoice 3.5 n'est utilisable que via l'API d'Alibaba Cloud Model Studio (Bailian), et ses poids ne sont pas sur Hugging Face.
Quelle durée d'enregistrement faut-il pour cloner sa voix ?
5 à 10 secondes suffisent. L'enregistrement doit être fait au calme, avec une seule personne qui parle, et accompagné d'une transcription fidèle, mot pour mot. Plus la référence est longue, plus la génération est lente.
Conclusion : 8 secondes d'enregistrement pour doubler avec sa propre voix
Avec CosyVoice 3, pour la première fois, doubler un jeu ou une vidéo avec ma propre voix me semble réaliste : 8 secondes d'enregistrement, et le modèle lit toutes les répliques suivantes, en français, en anglais, en japonais ou même en cantonais. Pas de carte NVIDIA ? Pas grave, le CPU suffit ; et avec un GPU intégré Intel, c'est encore 5 fois plus rapide.
Si vous avez essayé CosyVoice 3, ou si vous voulez des tests d'autres modèles, venez en parler sur Threads ou X.
