CosyVoice 3: clonar a voz com IA grátis, até na CPU
Clone sua voz com IA a partir de 8 segundos de gravação, até em outro idioma. Roda na CPU: instalação, clonagem e comandos testados.

No post anterior, comparei alguns modelos de TTS (texto para fala) open source e prometi que depois falaria de cada um em detalhe. Este post é sobre o CosyVoice 3: com uma gravação de só 8 segundos, ele lê frases novas com a voz daquela pessoa, consegue falar em outros idiomas e ainda imita dialetos chineses como o cantonês e o dialeto de Sichuan.
Meu notebook não tem placa de vídeo NVIDIA, e mesmo assim ele roda só na CPU. Cada fala leva uns dois minutos, então funciona bem se você montar um lote inteiro de falas e deixar rodando em segundo plano. Se o seu computador tiver uma GPU integrada Intel, dá para usá-la e ficar cerca de 5 vezes mais rápido. Aqui eu registro a instalação completa, os problemas que encontrei e uma demonstração de clonagem de voz feita com a minha própria voz.
O que é o CosyVoice 3? Dá para usar comercialmente?
O CosyVoice é um modelo de geração de voz open source da Alibaba (o aviso de copyright do código é da Alibaba Inc.). A versão open source mais recente é o Fun-CosyVoice3-0.5B-2512, lançado em dezembro de 2025. Os dados abaixo vêm da página do modelo no Hugging Face, consultada em 21/11/2026:
Item | Detalhes |
|---|---|
Parâmetros | 0.5B (500 milhões) |
Licença | Apache-2.0, permite uso comercial |
Idiomas | Chinês, inglês, japonês, coreano, alemão, espanhol, francês, italiano e russo: 9 no total |
Dialetos chineses | Mais de 18, como cantonês, minnan, sichuanês, dialeto do nordeste e de Xangai |
Clonagem de voz | Clona a partir de um áudio de referência, inclusive entre idiomas (uma voz gravada em chinês falando inglês) |
Controle por comandos | Uma frase define dialeto, velocidade, volume e emoção |
Ainda não fala português. Até 21/11/2026, o CosyVoice 3 não suporta português: são só os 9 idiomas da tabela. Você ainda pode clonar a sua voz e fazer com que ela fale inglês, chinês ou outro idioma suportado. Nas demonstrações abaixo, eu uso o inglês.
Na tabela de avaliação oficial, o CosyVoice 3 tem uma taxa de erro de caracteres (CER) menor que a do CosyVoice 2 no conjunto de testes em chinês, e a semelhança da voz também é maior.
O CosyVoice 3.5 é open source?
Não. A Alibaba anunciou o CosyVoice 3.5 em março de 2026, mas por enquanto ele só está disponível pela API do Alibaba Cloud Model Studio, e só na região de Pequim. Até 21/11/2026, não há pesos do 3.5 no Hugging Face, e uma issue no GitHub perguntando se ele será liberado segue sem resposta oficial. Se você quer rodar no seu próprio computador e precisa de licença comercial, a opção hoje é o 3.0.
Outro detalhe: o repositório do CosyVoice no GitHub mudou de FunAudioLLM/CosyVoice para QwenAudio/CosyVoice, e o endereço antigo redireciona automaticamente.
Requisitos: roda sem placa de vídeo NVIDIA?
Roda, só que mais devagar. Meu notebook tem um Intel Core Ultra 5 322 (6 núcleos), GPU integrada Panther Lake e nenhuma placa de vídeo dedicada. Para a mesma fala em chinês, de uns 8 segundos:
Onde roda | Tempo de geração | Fator de tempo (menor é mais rápido) |
|---|---|---|
CPU (6 núcleos) | 115 s | 15,6 |
GPU integrada Intel (PyTorch XPU) | 21,5 s | 2,5 |
Carregar o modelo leva mais uns 12 segundos. Ao gerar um lote de falas na GPU integrada, o modelo é carregado uma vez só, e cada fala de 4 a 6 segundos fica pronta em 15 a 30 segundos.
A instalação oficial foi pensada para placas NVIDIA (CUDA). Para usar a GPU integrada Intel, são necessários alguns passos extras, que explico mais adiante.
Como instalar o CosyVoice 3 (versão CPU)
Meu ambiente é Linux (Arch), e eu gerencio o Python com o uv.
1. Baixar o código
mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repoNão se esqueça do --recursive: o Matcha-TTS, que o CosyVoice usa, é um submódulo.
2. Criar o ambiente e instalar os pacotes
O requirements.txt oficial inclui PyTorch com CUDA, TensorRT e DeepSpeed. Sem placa NVIDIA, nada disso serve. Instalei só o que é realmente necessário, com o PyTorch para CPU:
uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
--index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
"torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hubAqui, caí em três armadilhas:
- O
openai-whispernão compila: o instalador dele precisa dopkg_resources, que foi removido das versões novas do setuptools. Instale osetuptools<81antes e compile o pacote fora do ambiente isolado (--no-build-isolation-package). - Sem
lightningerich, o modelo não carrega: o arquivo de configuração do modelo usa esses dois pacotes, então eles precisam entrar na lista. - A mensagem
no frontend is avaliable: o pacote de normalização de texto wetext baixa dados do ModelScope, e aqui o acesso foi recusado (403). Mesmo sem ele, a geração funciona, e o próprio CosyVoice 3 lida com números e símbolos comuns, como mostro no teste mais abaixo.
3. Baixar o modelo (dá para economizar 4 GB)
O download completo tem uns 9,8 GB, mas alguns arquivos não são usados nesta instalação e podem ficar de fora:
from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
local_dir="models/Fun-CosyVoice3-0.5B",
ignore_patterns=["flow.decoder.estimator.fp32.onnx", # para o TensorRT
"speech_tokenizer_v3.batch.onnx", # para inferência em lote
"llm.rl.pt"]) # versão com aprendizado por reforço, não é carregada por padrãoDepois do download, ficam 5,1 GB.
4. Gerar a primeira fala
O prompt do CosyVoice 3 tem um formato fixo: precisa começar com You are a helpful assistant.<|endofprompt|>. Adaptando o example.py oficial:
import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"
# Clonagem de voz: áudio de referência + transcrição do áudio de referência
out = m.inference_zero_shot("Fala a ser lida", SYS + "O que é dito no áudio de referência", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)As três formas principais de uso:
Função | Para que serve |
|---|---|
| Clonagem de voz com o resultado mais fiel. Precisa da transcrição do áudio de referência |
| Não precisa de transcrição. Bom para trocar de idioma, por exemplo uma voz gravada em chinês falando inglês |
| Uma frase define dialeto, velocidade e emoção. O formato do comando está logo abaixo |
O comando é escrito assim: "You are a helpful assistant. 请用广东话表达。<|endofprompt|>". Começa com a mesma frase fixa, o comando vai no meio e no fim vem <|endofprompt|>.
Juntei tudo isso num comando só, guardado em ~/tools/cosyvoice/, que qualquer projeto meu pode chamar.
Avançado: 5 vezes mais rápido com a GPU integrada Intel (PyTorch XPU)
O backend do PyTorch para os chips gráficos da Intel se chama XPU. O PyTorch 2.3.1 usado pelo CosyVoice ainda não tinha XPU, então criei um ambiente separado e deixei o ambiente de CPU intacto.
1. Instalar o driver de computação da Intel
Um sistema comum para desktop vem só com o driver de vídeo. Para o PyTorch usar o chip gráfico para cálculos, é preciso instalar também o driver de computação da Intel (Level Zero). No Arch Linux:
sudo pacman -S intel-compute-runtime2. Instalar o PyTorch com XPU
uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"Se aparecer True Intel(R) Graphics, a GPU integrada foi reconhecida. A versão instalada aqui foi o PyTorch 2.14.1.
Depois, instale nesse ambiente os pacotes da lista anterior, usando -c para indicar um arquivo de restrições de versão. Nesse arquivo, fixe a versão do torch que já está instalada, para que nenhum outro pacote troque o torch por uma versão sem XPU.
3. Remover o triton que causa conflito
Depois da instalação, import transformers falhou com o erro cannot import name 'make_tensordesc_args'. O motivo: o openai-whisper trouxe junto uma versão antiga do triton, que sobrescreveu o triton-xpu exigido pelo PyTorch com XPU. Basta remover a versão antiga e reinstalar o triton-xpu:
VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
--index-url https://download.pytorch.org/whl/xpu triton-xpu4. Levar o modelo para a GPU integrada
O código do CosyVoice só reconhece CUDA: sem placa NVIDIA, ele recorre automaticamente à CPU. Em vez de mexer no código oficial, carrego o modelo na CPU e depois movo as três redes principais para a GPU integrada:
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = devAssim, atualizar o código oficial depois não gera conflito. Na primeira execução na GPU integrada há uma etapa de compilação que leva uns dez segundos a mais; depois disso, tudo funciona normalmente.
Teste 1: clonando a minha própria voz
Gravei 8 segundos da minha voz no celular para servir de referência para a clonagem. Como o CosyVoice 3 ainda não fala português (veja acima), a demonstração principal é em inglês, um dos 9 idiomas suportados.
Aviso de Terry L: todos os áudios de demonstração deste post contêm a minha voz ou versões clonadas dela. Todos os direitos reservados. Não baixe, não republique e não use em nenhum outro lugar (inclusive para clonar).
Eu nunca disse a frase abaixo. O CosyVoice 3 a criou a partir da gravação acima, e ainda em outro idioma:
Achei a voz gerada muito parecida com a minha.
Clonagem entre idiomas: a mesma gravação em chinês também serve para falar japonês ou cantonês:
Passei os trechos em inglês, japonês e cantonês por uma ferramenta de reconhecimento de fala (Whisper) e comparei as transcrições: todas estavam corretas, sem palavras a mais nem a menos.
Como gravar o áudio de referência?
- De 5 a 10 segundos bastam. Testei uma referência de 20 segundos, e a geração ficou 2 a 3 vezes mais lenta.
- Ambiente silencioso, uma pessoa só falando: música de fundo e ruído também são clonados.
- Inclua a transcrição: com
inference_zero_shot, a transcrição precisa bater palavra por palavra com a gravação. Se você não souber exatamente o que foi dito, transcreva antes com o Whisper ou useinference_cross_lingual. - Se o volume estiver baixo, aumente-o antes: a gravação do meu celular tinha volume médio de só -31 dB, então cortei os silêncios do começo e do fim e ajustei o volume antes de clonar.
O tom e o ritmo também são clonados
O CosyVoice 3 não clona só o timbre: velocidade, tom e entonação também seguem a gravação de referência. Com inference_zero_shot, a gravação e a transcrição são tratadas como "o que já foi dito antes", e o modelo continua a partir dali, mantendo o mesmo jeito de falar.
No meu teste, a gravação original tinha cerca de 4,3 caracteres chineses por segundo, e uma frase em chinês clonada saiu com cerca de 4,4, um ritmo bem próximo. Mas nem sempre é tão consistente: a mesma frase, com outra seed, ficou mais lenta: 3,6 caracteres por segundo, e a fala clonada do Arthur saiu um pouco mais rápida que a referência. Por isso, para falas importantes, vale gerar algumas versões e escolher.
Na prática:
- Grave no tom que você quer ouvir: para uma fala irritada, grave a referência com irritação; para algo suave e lento, leia a referência devagar. Um mesmo personagem pode ter várias referências, por exemplo uma normal, uma agitada e uma sussurrada.
- Os defeitos da gravação também são copiados: se você falar rápido demais, sem emoção, ou com eco e ruído, o resultado clonado vai sair igual.
- Para ajustes finos, há três caminhos: o parâmetro
speed, que acelera ou desacelera direto; um comando cominference_instruct2, como "请用尽可能慢地语速说一句话。" (fale o mais devagar possível); ou trocar parainference_cross_lingual.
Pelo código-fonte dá para ver que o inference_cross_lingual não passa a gravação de referência para o modelo de linguagem que decide o ritmo. A referência só define o timbre, então ele tende a não copiar o ritmo da gravação.
Teste 2: dublando o robô barman Arthur
A página inicial do site é uma base lunar: um minigame 3D em que você guia um astronauta pela base, sai pela câmara de descompressão até a superfície da Lua ou vai ao bar pedir um drink da casa. Este blog registra como essa base vem sendo construída. No bar trabalha o robô barman Arthur, uma homenagem ao androide barman Arthur do filme Passageiros (Passengers, 2016), e algumas falas dele foram adaptadas do filme. No filme, o Arthur é interpretado por Michael Sheen; aqui a ideia é justamente não imitar a voz dele.
Nesta seção, continuo usando a minha voz (a mesma gravação de 8 segundos) para ler falas do Arthur e testar a troca de idioma e a pronúncia.
Se o modelo errar a leitura de um caractere chinês com mais de uma pronúncia, dá para escrever o pinyin direto na fala, com marcações como [h][áng]. Palavras em inglês também aceitam fonemas CMU para definir a pronúncia. Aconteceu comigo uma vez: na fala do teste de marcações de respiração e riso, mais abaixo, o caractere 尷 saiu errado na primeira geração; troquei por [g][ān], gerei de novo e ficou certo.
Japonês precisa ser convertido para katakana
O exemplo oficial avisa: o japonês deve ser convertido para katakana antes de entrar no modelo. Testei os dois jeitos. Com kanji e hiragana, o texto que o reconhecimento de fala devolveu saiu bem diferente, com várias palavras erradas; em katakana, saiu correto.
Para dublar em japonês, você pode pedir a um assistente de programação com IA que converta as falas para katakana antes de passá-las ao CosyVoice.
Teste 3: controlando dialeto, emoção e velocidade com comandos
O inference_instruct2 aceita um comando de uma frase. O código oficial lista os comandos suportados, incluindo 17 dialetos chineses, além de volume, velocidade, emoção e "falar como um robô".
Escreva os comandos em chinês simplificado ou em inglês. A maioria dos comandos oficiais está em chinês simplificado, e os dois de volume estão em inglês ("Please say a sentence as loudly as possible." e "Please say a sentence in a very soft voice."). Se você não lê chinês, use comandos em inglês.
Testei três jeitos de pedir "a velocidade mais lenta possível" na mesma fala:
Comando | Duração da fala |
|---|---|
Sem comando | Cerca de 4 a 5 s |
Chinês simplificado "请用尽可能慢地语速说一句话。" | 8,2 s |
Inglês "Please say a sentence as slowly as possible." | 8,5 s |
Chinês tradicional "請用盡可能慢地語速說一句話。" | 5,3 s |
Em chinês simplificado e em inglês, a fala ficou bem mais lenta; em chinês tradicional, quase não fez efeito. O comando em inglês nem está na lista oficial e funciona mesmo assim.
Todos os exemplos abaixo usam a minha voz, com a fala "歡迎來到月球基地的酒吧。今天想喝點什麼?" (Bem-vindo ao bar da base lunar. O que vai beber hoje?):
Para o cantonês, a fala precisa estar escrita do jeito cantonês (嚟, 嘅, 啲, 咩) para que o reconhecimento de fala devolva o texto totalmente correto.
E o minnan (hokkien)?
A lista oficial de dialetos inclui o minnan (hokkien). Testei com o comando "请用闽南话表达。", mas para mim não soou nada como taiwanês (Taiwanese Hokkien), e a entonação também estava errada.
Marcações de respiração e riso
Dá para colocar na fala marcações como [breath] (respiração), <laughter>…</laughter> (falar rindo) e <strong>…</strong> (dar ênfase):
Sinceramente, não consegui ouvir nem a respiração nem o riso. Pelo menos neste teste, as marcações não tiveram efeito perceptível, então não espere muito delas.
Números e horários
Como contei antes, meu ambiente ficou sem o pacote de normalização de texto. Testei uma fala em chinês com números e horário:
"120", o desconto e "23:30" saíram certos. Mesmo sem o pacote de normalização de texto, o CosyVoice 3 lida com números e horários comuns.
Já com formatos mais complicados, como números de telefone, números de versão, datas ou horários, é mais seguro escrever por extenso em caracteres chineses.
CosyVoice 3 comparado a outros TTS open source
Em relação aos modelos do post anterior, o que se destaca no CosyVoice 3:
- A clonagem em chinês é muito melhor que a do Chatterbox nesse idioma: usei a mesma gravação de referência e as mesmas falas para comparar com a versão chinesa do Chatterbox. Ela pronunciou muitas palavras de forma confusa ou errada, com qualidade bem ruim. Se o objetivo é clonar uma voz em chinês, pule o Chatterbox e não perca tempo testando.
- Clonagem de voz mais controle por comandos: o CosyVoice 3 define dialeto, emoção e velocidade com uma frase; o Kokoro só tem vozes prontas e não clona.
- Aceita chinês tradicional direto: a maioria das falas em chinês tradicional que testei saiu certa, e os poucos caracteres errados se resolvem com chinês simplificado ou pinyin. Não é preciso converter a frase inteira para simplificado, como no Qwen3-TTS.
- Menos idiomas: só 9. A versão multilíngue do Chatterbox suporta 23, e o CosyVoice 3 não suporta idiomas como vietnamita, indonésio e turco.
- Bem mais lento que o Kokoro: o Kokoro gera uma fala em dez e poucos segundos na CPU; o CosyVoice 3 só fica prático com a GPU integrada.
Dá para clonar a voz de outra pessoa?
Tecnicamente, qualquer voz pode ser clonada a partir de uma gravação limpa, e o resultado é muito bom. Justamente por isso, clone só a sua própria voz ou a de quem deu autorização. A voz de pessoas famosas é protegida por direitos da personalidade, e usar a voz de alguém para dizer coisas que essa pessoa nunca disse pode configurar fraude ou difamação.
A licença Apache-2.0 do CosyVoice 3 permite o uso comercial do modelo, não o uso da voz de qualquer pessoa. O que eu faço: uso a minha voz ou gero a voz original do personagem com as vozes prontas de um modelo open source como o Kokoro e clono a partir dela.
Perguntas frequentes
O CosyVoice 3 pode ser usado comercialmente?
Pode. O Fun-CosyVoice3-0.5B-2512 usa a licença Apache-2.0, que permite uso comercial. Mas a voz de referência precisa ser sua ou de alguém que tenha dado autorização.
O CosyVoice 3 fala português?
Não. Até 21/11/2026, ele suporta 9 idiomas: chinês, inglês, japonês, coreano, alemão, espanhol, francês, italiano e russo. Você ainda pode clonar a sua voz e fazê-la falar um desses idiomas, como o inglês dos exemplos deste post.
Dá para clonar voz grátis sem placa de vídeo NVIDIA?
Dá. Na CPU, uma fala de 8 segundos leva quase dois minutos; com a GPU integrada Intel (PyTorch XPU), cerca de 20 segundos. Para isso, é preciso instalar o driver de computação da Intel e o PyTorch com XPU.
O CosyVoice 3 fala cantonês e outros dialetos chineses?
Cantonês, sim, e funciona melhor com a fala escrita do jeito cantonês (嚟, 嘅, 啲). A lista oficial também inclui o minnan, mas no meu teste não soou como taiwanês e a entonação estava errada.
O CosyVoice 3.5 é open source?
Até 21/11/2026, não. O CosyVoice 3.5 só pode ser usado pela API do Alibaba Cloud Model Studio, e não há pesos dele no Hugging Face.
Qual deve ser a duração da gravação para clonar minha voz?
De 5 a 10 segundos bastam. Grave em um ambiente silencioso, com uma pessoa só falando, e inclua a transcrição exata. Quanto mais longa a referência, mais lenta a geração.
Conclusão: 8 segundos de gravação para ter a sua própria dublagem
O CosyVoice 3 foi o primeiro modelo que me fez achar viável dublar jogos ou vídeos com a minha própria voz: grave 8 segundos e deixe o modelo ler o resto das falas, inclusive em inglês, japonês ou cantonês. Não tem placa NVIDIA? Sem problema, roda na CPU; com GPU integrada Intel, fica cerca de 5 vezes mais rápido.
Se você também testou o CosyVoice 3 ou quer ver testes de outros modelos, deixe um comentário no Threads ou no X.
