CosyVoice 3: clonar la voz con IA gratis, incluso en CPU
Clona tu voz gratis con IA a partir de 8 segundos de grabación, incluso en cantonés. Funciona en CPU. Instalación y pruebas.

En mi artículo anterior, «Generador de voz con IA gratis: Kokoro y Chatterbox para juegos», comparé varios modelos TTS (texto a voz) de código abierto y prometí presentarlos uno por uno. Empiezo por CosyVoice 3: con una grabación de solo 8 segundos, dice frases nuevas con la voz de esa persona, e incluso habla dialectos chinos como el cantonés o el de Sichuan.
Mi portátil no tiene tarjeta gráfica NVIDIA y, aun así, CosyVoice 3 funciona solo con la CPU: unos dos minutos por frase. Es ideal para preparar un lote de frases y dejarlo trabajando en segundo plano. Si tu equipo tiene gráficos integrados Intel, también puedes usarlos para ir unas 5 veces más rápido. En este artículo cuento la instalación completa, los problemas con los que me encontré y una demostración de clonación de voz con mi propia voz.
¿Qué es CosyVoice 3? ¿Se puede usar comercialmente?
CosyVoice es un modelo de generación de voz de código abierto de Alibaba (el aviso de copyright del código fuente es de Alibaba Inc.). La última versión abierta es Fun-CosyVoice3-0.5B-2512, publicada en diciembre de 2025. Los siguientes datos proceden de su página en Hugging Face, consultada el 21/11/2026:
Aspecto | Detalle |
|---|---|
Parámetros | 0,5B (500 millones) |
Licencia | Apache-2.0, uso comercial permitido |
Idiomas | chino, inglés, japonés, coreano, alemán, español, francés, italiano y ruso: 9 en total |
Dialectos chinos | más de 18, como cantonés, minnan, sichuanés, dialecto del noreste y shanghainés |
Clonación de voz | basta con un audio de referencia, también entre idiomas (una voz en chino que habla inglés) |
Control por instrucciones | una frase para elegir dialecto, velocidad, volumen o emoción |
En las pruebas oficiales, CosyVoice 3 obtiene, en el conjunto de prueba en chino, una tasa de error por carácter (CER) más baja y una similitud de voz más alta que la generación anterior, CosyVoice 2.
¿CosyVoice 3.5 es de código abierto?
No. Alibaba presentó CosyVoice 3.5 en marzo de 2026, pero solo se puede usar a través de la API de Alibaba Cloud Model Studio (Bailian), y únicamente en la región de Pekín. A 21/11/2026 no hay pesos de la versión 3.5 en Hugging Face; en GitHub, un usuario preguntó en un issue si se publicaría, sin respuesta oficial. Si quieres ejecutarlo en tu propio equipo con licencia comercial, por ahora toca usar la 3.0.
Además, el repositorio de GitHub de CosyVoice se ha mudado de FunAudioLLM/CosyVoice a QwenAudio/CosyVoice; la dirección antigua redirige automáticamente.
Requisitos: ¿funciona sin tarjeta gráfica NVIDIA?
Sí, aunque funciona más despacio. Mi portátil tiene un Intel Core Ultra 5 322 (6 núcleos) con gráficos integrados Panther Lake y ninguna tarjeta gráfica dedicada. Para la misma frase en chino de unos 8 segundos:
Hardware | Tiempo de generación | Factor de tiempo real (menor = más rápido) |
|---|---|---|
CPU (6 núcleos) | 115 s | 15,6 |
Gráficos integrados Intel (PyTorch XPU) | 21,5 s | 2,5 |
A eso hay que sumar unos 12 segundos para cargar el modelo. Al generar un lote de frases con los gráficos integrados, el modelo se carga una sola vez, y una frase de 4 a 6 segundos tarda entre 15 y 30 segundos.
La instalación oficial está pensada para tarjetas NVIDIA (CUDA). Con gráficos integrados Intel hacen falta algunos pasos más, que explico más abajo.
Cómo instalar CosyVoice 3 (versión CPU)
Mi entorno: Linux (Arch), con Python gestionado por uv.
1. Descargar el código
mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repoHay que poner --recursive sí o sí, porque Matcha-TTS, que CosyVoice necesita, es un submódulo.
2. Crear el entorno e instalar paquetes
El requirements.txt oficial incluye PyTorch para CUDA, TensorRT y DeepSpeed; sin tarjeta NVIDIA no me sirven de nada. Instalo solo los paquetes que hacen falta y fijo PyTorch en su versión para CPU:
uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
--index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
"torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hubAquí me encontré con tres problemas:
- Falla la compilación de
openai-whisper: su instalador necesitapkg_resources, que las versiones nuevas de setuptools ya no incluyen. Primero se instalasetuptools<81y luego se le dice que no compile en un entorno aislado (--no-build-isolation-package). - Sin
lightningnirich, el modelo no carga: el archivo de configuración del modelo usa estos dos paquetes, así que también hay que instalarlos. - El mensaje
no frontend is avaliable: el paquete de normalización de texto wetext descarga datos de ModelScope, y en mi caso la petición fue rechazada (403). Aun así se puede generar audio, y CosyVoice 3 se las arregla solo con números y símbolos habituales; más abajo lo pruebo.
3. Descargar el modelo (y ahorrar 4 GB)
El modelo completo ocupa unos 9,8 GB, pero algunos archivos no se usan en esta instalación y se pueden omitir:
from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
local_dir="models/Fun-CosyVoice3-0.5B",
ignore_patterns=["flow.decoder.estimator.fp32.onnx", # para TensorRT
"speech_tokenizer_v3.batch.onnx", # para inferencia por lotes
"llm.rl.pt"]) # versión RL, no se carga por defectoUna vez descargado, ocupa 5,1 GB.
4. Generar la primera frase
El prompt de CosyVoice 3 tiene un formato fijo: debe empezar por You are a helpful assistant.<|endofprompt|>. Adaptado del example.py oficial:
import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"
# Clonación de voz: audio de referencia + transcripción de ese audio
out = m.inference_zero_shot("Texto que se va a leer", SYS + "Transcripción del audio de referencia", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)Las tres funciones principales:
Función | Para qué sirve |
|---|---|
| Clonación de voz, la más fiel. Hay que proporcionar la transcripción del audio de referencia |
| No necesita transcripción, ideal para cambiar de idioma, por ejemplo, que una voz en chino hable inglés |
| Una frase para fijar dialecto, velocidad o emoción. El formato de la instrucción está más abajo |
La instrucción se escribe así: "You are a helpful assistant. 请用广东话表达。<|endofprompt|>". Delante va el mismo inicio fijo, en medio la instrucción y al final <|endofprompt|>.
Lo empaqueté todo en un comando, guardado en ~/tools/cosyvoice/, que puedo llamar desde cualquier proyecto.
Avanzado: 5 veces más rápido con gráficos integrados Intel (PyTorch XPU)
El backend de PyTorch para chips gráficos Intel se llama XPU. La versión 2.3.1 de PyTorch que usa CosyVoice todavía no lo admite, así que creé un segundo entorno y dejé intacto el de CPU.
1. Instalar el controlador de cómputo de Intel
Un sistema de escritorio normal solo trae el controlador de pantalla. Para que PyTorch pueda calcular en el chip gráfico, hace falta además el controlador de cómputo de Intel (Level Zero). En Arch Linux:
sudo pacman -S intel-compute-runtime2. Instalar PyTorch con XPU
uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"Si aparece True Intel(R) Graphics, se han detectado los gráficos integrados. A mí se me instaló PyTorch 2.14.1.
Después se instalan en este entorno los paquetes de la lista anterior, añadiendo -c con un archivo de restricciones de versiones. Ese archivo debe fijar la versión de torch instalada, para que al instalar otros paquetes no se sustituya por una versión sin XPU.
3. Desinstalar la versión de triton que causa el conflicto
Tras la instalación, import transformers falla con el error cannot import name 'make_tensordesc_args'. El motivo: openai-whisper instaló de paso una versión antigua de triton, que pisa el triton-xpu que necesita PyTorch XPU. Basta con quitar la versión antigua y reinstalar triton-xpu:
VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
--index-url https://download.pytorch.org/whl/xpu triton-xpu4. Pasar el modelo a los gráficos integrados
El código de CosyVoice solo reconoce CUDA: sin tarjeta NVIDIA, usa la CPU automáticamente. En lugar de modificar el código oficial, cargo el modelo primero en la CPU y luego paso sus tres redes principales a los gráficos integrados:
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = devAsí, cuando se actualiza el código oficial, no hay conflictos. En la primera ejecución con los gráficos integrados hay que compilar, lo que añade una decena de segundos; las siguientes ya se ejecutan con normalidad.
Prueba 1: clonar mi voz, demostración con mi propia voz
Grabé 8 segundos de mi voz con el móvil para usarlos como referencia.
Aviso: todos los audios de este artículo son la voz del autor, Terry L, o clones de su voz. Todos los derechos reservados: no los descargues, no los republiques ni los uses en otro sitio (tampoco para clonarlos).
Esta frase nunca la he dicho: CosyVoice 3 la generó en español a partir de la grabación en chino de arriba.
Me parece que la voz generada se parece muchísimo a la mía.
Clonación de voz entre idiomas: la demostración anterior ya lo es, porque la referencia está en chino. Con la misma grabación también puede hablar inglés, japonés o cantonés:
Pasé los audios en inglés, japonés y cantonés por un reconocedor de voz (Whisper) para compararlos con el texto: todo era correcto, sin palabras de más ni de menos.
¿Cómo grabar la voz de referencia?
- Basta con entre 5 y 10 segundos. También probé una referencia de 20 segundos y la generación tardó de 2 a 3 veces más.
- Silencio y una sola persona hablando: la música de fondo y el ruido también se clonan.
- Incluye la transcripción: con
inference_zero_shot, tiene que coincidir palabra por palabra con la grabación. Si no sabes el texto exacto, pásala antes por Whisper o usainference_cross_lingual. - Si el volumen es bajo, súbelo antes: mi grabación con el móvil tenía un volumen medio de solo -31 dB, así que recorté los silencios del principio y del final y ajusté el volumen antes de clonar.
También se clonan el tono y la velocidad
CosyVoice 3 no solo clona el timbre: la velocidad, el tono y la entonación también se ajustan a la grabación de referencia. Con inference_zero_shot, la referencia y su transcripción se tratan como «lo que ya se ha dicho», y el modelo continúa hablando de la misma manera.
En mis pruebas, mi grabación original va a unos 4,3 caracteres chinos por segundo, y una frase en chino clonada a partir de ella, a unos 4,4: una velocidad muy parecida. Pero no siempre es tan constante: la misma frase con otra semilla aleatoria bajó a 3,6 caracteres por segundo, y la frase de Arthur clonada en chino salió algo más rápida que la referencia. Para las frases importantes, mejor generar varias versiones y elegir.
En la práctica:
- Graba el tono que quieres conseguir: para una frase enfadada, una referencia enfadada; para una voz suave y lenta, lee despacio. Un mismo personaje puede tener varias referencias, por ejemplo normal, alterada y en susurros.
- Los defectos de la referencia también se copian: si es demasiado rápida, plana o tiene eco o ruido, el clon saldrá igual.
- Tres formas de ajustarlo: el parámetro
speedpara acelerar o frenar directamente; una instrucción coninference_instruct2, por ejemplo «请用尽可能慢地语速说一句话。»; o pasar ainference_cross_lingual.
En el código fuente se ve que inference_cross_lingual no pasa la grabación de referencia al modelo de lenguaje que decide el ritmo: la referencia solo define el timbre, así que copia menos el ritmo de la grabación.
Prueba 2: doblar a Arthur, el robot barman
En la página de inicio de mi web hay una base lunar en 3D con un bar, atendido por Arthur, un robot barman. El personaje es un homenaje a Arthur, el barman androide de la película Passengers (2016), y algunas de sus frases están adaptadas de la película. En la película, Michael Sheen interpreta a Arthur; aquí no intento imitar su voz.
En esta sección sigo usando mi propia voz (la misma grabación de 8 segundos) para las frases de Arthur.
Si alguna palabra se pronuncia mal, CosyVoice 3 permite indicar la pronunciación en el propio texto: en chino, los caracteres con varias lecturas se pueden marcar con pinyin, como [h][áng]; en inglés, se puede fijar la pronunciación de una palabra con fonemas CMU. A mí me pasó una vez: en una frase en chino, el carácter «尷» salió mal. Lo sustituí por [g][ān], volví a generar y quedó bien.
El japonés hay que pasarlo a katakana
Los ejemplos oficiales lo avisan: el japonés hay que convertirlo a katakana antes de introducirlo. Probé las dos formas: con kanji e hiragana, el texto que devolvía el reconocedor de voz era muy distinto y había palabras mal pronunciadas; en katakana, todo correcto.
Para doblar en japonés, puedes pedirle a un asistente de programación con IA que pase primero las frases a katakana y luego dárselas a CosyVoice.
Prueba 3: controlar dialecto, emoción y velocidad con instrucciones
inference_instruct2 acepta una instrucción de una frase. El código oficial enumera las instrucciones admitidas: 17 dialectos, además de volumen, velocidad, emoción e incluso «hablar como un robot».
Las instrucciones se pueden escribir en chino simplificado o en inglés. La mayoría de las instrucciones oficiales están en chino simplificado; las dos de volumen, en inglés («Please say a sentence as loudly as possible.» y «Please say a sentence in a very soft voice.»).
Probé tres formas de pedir «lo más lento posible» con la misma frase:
Instrucción | Duración de la frase |
|---|---|
Sin instrucción | unos 4 a 5 s |
Chino simplificado «请用尽可能慢地语速说一句话。» | 8,2 s |
Inglés «Please say a sentence as slowly as possible.» | 8,5 s |
Chino tradicional «請用盡可能慢地語速說一句話。» | 5,3 s |
El chino simplificado y el inglés ralentizan claramente; el chino tradicional casi no tiene efecto. La instrucción en inglés no está en la lista oficial, pero funciona igual: si no sabes chino, escribe las instrucciones en inglés.
Todos los audios siguientes están generados con mi voz y la frase «歡迎來到月球基地的酒吧。今天想喝點什麼?» (Bienvenido al bar de la base lunar. ¿Qué te pongo hoy?):
Para el cantonés, la frase tiene que estar escrita con los caracteres propios del cantonés (嚟, 嘅, 啲, 咩); solo así el reconocedor de voz devuelve el texto exacto.
¿Y el minnan (hokkien)?
La lista oficial de dialectos incluye el minnan (hokkien). Con la misma frase y la instrucción «请用闽南话表达。», a mi oído el resultado no se parece en nada al hokkien taiwanés (Taiwanese Hokkien), y la entonación tampoco es la correcta.
Etiquetas de respiración y risa
En el texto se pueden añadir etiquetas como [breath] (respiración), <laughter>…</laughter> (hablar riendo) o <strong>…</strong> (enfatizar):
Sinceramente, no oigo ni la respiración ni la risa. Al menos en esta prueba, las etiquetas no tuvieron un efecto notable, así que no esperes mucho de ellas.
Números y horas
Como comenté antes, a mi entorno le falta el paquete de normalización de texto. Probé una frase con números y una hora:
«120 元», «8 折» y «23:30» se pronunciaron bien. Incluso sin el paquete de normalización, CosyVoice 3 maneja bien los números y las horas habituales.
Eso sí, con formatos más complicados, como números de teléfono, números de versión, fechas u horas, es más seguro escribirlos con caracteres chinos. Una hora, por ejemplo, se puede escribir «十一點半» (las once y media).
CosyVoice 3 frente a otros TTS de código abierto
Comparado con los modelos del artículo anterior, esto es lo que distingue a CosyVoice 3:
- Clonación de voz en chino mucho mejor que la de la versión china de Chatterbox: comparé ambos modelos con la misma grabación de referencia y las mismas frases. Con la versión china de Chatterbox, muchas palabras salían mal articuladas o eran incorrectas, y la calidad era muy mala. Si quieres clonar una voz en chino, puedes saltarte Chatterbox y no perder tiempo probándolo.
- Clonación de voz y control por instrucciones: CosyVoice 3 permite fijar dialecto, emoción y velocidad con una frase; Kokoro solo tiene voces integradas y no puede clonar.
- Acepta el chino tradicional directamente: la mayoría de mis frases en chino tradicional salieron bien, sin tener que convertir toda la frase a simplificado como con Qwen3-TTS.
- Menos idiomas: solo 9. La versión multilingüe de Chatterbox admite 23; el vietnamita, el indonesio o el turco, por ejemplo, no los admite CosyVoice 3.
- Mucho más lento que Kokoro: Kokoro genera una frase en una decena de segundos con la CPU; CosyVoice 3 solo resulta práctico con los gráficos integrados.
¿Se puede clonar la voz de otra persona?
Técnicamente, basta con una grabación limpia para clonar la voz de cualquiera, y el resultado es muy bueno. Precisamente por eso, clona solo tu propia voz o la de alguien que te haya dado su consentimiento. La voz de los famosos está protegida por los derechos de la personalidad, y hacer que alguien diga cosas que nunca dijo puede constituir fraude o difamación.
La licencia Apache-2.0 de CosyVoice 3 permite el uso comercial del modelo en sí; no significa que puedas usar la voz de cualquiera. Mi método: uso mi propia voz, o genero la voz original de un personaje con las voces integradas de un modelo abierto como Kokoro y luego la clono.
Preguntas frecuentes
¿CosyVoice 3 se puede usar comercialmente?
Sí. Fun-CosyVoice3-0.5B-2512 usa la licencia Apache-2.0, que permite el uso comercial. Pero la voz de referencia tiene que ser la tuya o la de alguien que haya dado su consentimiento.
¿Puedo clonar mi voz en español con CosyVoice 3?
Sí. El español es uno de los 9 idiomas admitidos (chino, inglés, japonés, coreano, alemán, español, francés, italiano y ruso). En este artículo, mi voz clonada habla español a partir de una grabación de referencia en chino.
¿CosyVoice 3 habla cantonés o hokkien?
Cantonés sí; funciona mejor si la frase está escrita con los caracteres propios del cantonés (嚟, 嘅, 啲). La lista oficial de dialectos incluye el minnan (hokkien), pero en mi prueba no sonaba a hokkien taiwanés y la entonación no era la correcta.
¿Se puede usar CosyVoice 3 sin tarjeta gráfica NVIDIA?
Sí. Con la CPU, una frase de 8 segundos tarda casi dos minutos; con gráficos integrados Intel (PyTorch XPU), unos 20 segundos. Antes hay que instalar el controlador de cómputo de Intel y PyTorch con XPU.
¿CosyVoice 3.5 es de código abierto?
A 21/11/2026, no. CosyVoice 3.5 solo se puede usar a través de la API de Alibaba Cloud Model Studio (Bailian), y sus pesos no están en Hugging Face.
¿Cuánto tiene que durar la grabación para clonar voz gratis con CosyVoice 3?
Basta con entre 5 y 10 segundos. La grabación debe hacerse en silencio, con una sola persona hablando, y acompañada de una transcripción exacta palabra por palabra. Cuanto más larga sea la referencia, más lenta será la generación.
Conclusión: 8 segundos de grabación para doblar con tu propia voz
Con CosyVoice 3, por primera vez me parece viable doblar un juego o un vídeo con mi propia voz: grabo 8 segundos y el modelo lee todas las frases que vengan después, en español, inglés, japonés o incluso cantonés. ¿No tienes tarjeta NVIDIA? No pasa nada, la CPU basta; y con gráficos integrados Intel, va 5 veces más rápido.
Si has probado CosyVoice 3 o quieres ver pruebas de otros modelos, cuéntamelo en Threads o en X.
