Herbst 2026 · Aus der Tranquility-Basis
Ins Mondstudio ↗
KI-Tools

CosyVoice 3: Stimme klonen mit KI, kostenlos und auf der CPU

Stimme klonen mit KI: 8 Sekunden Aufnahme reichen, sogar für Kantonesisch. Läuft auch ohne Grafikkarte. Installation und Praxistest.

Im Tonstudio der Mondbasis spricht ein Astronaut in ein Mikrofon; drei bunte Schallwellen schweben zu einem Roboter-Barkeeper, einem Lautsprecher und einem Laptop
Im Tonstudio der Mondbasis spricht ein Astronaut in ein Mikrofon; drei bunte Schallwellen schweben zu einem Roboter-Barkeeper, einem Lautsprecher und einem Laptop

In meinem letzten Beitrag „Kokoro TTS und Chatterbox: KI-Stimme kostenlos für Spiele“ habe ich mehrere Open-Source-TTS-Modelle (Text-to-Speech) verglichen und angekündigt, sie danach einzeln genauer vorzustellen. Hier ist das erste: CosyVoice 3. Eine 8 Sekunden lange Aufnahme reicht, und das Modell spricht neue Sätze mit der Stimme der aufgenommenen Person. Es beherrscht sogar chinesische Dialekte wie Kantonesisch oder Sichuanesisch.

Mein Laptop hat keine NVIDIA-Grafikkarte, und trotzdem läuft CosyVoice 3 allein auf der CPU: etwa zwei Minuten pro Satz. Das passt gut, wenn man einen ganzen Stapel Sätze vorbereitet und im Hintergrund abarbeiten lässt. Wer eine integrierte Intel-Grafikeinheit hat, kann diese nutzen und erzeugt die Sätze damit etwa 5-mal so schnell. In diesem Beitrag beschreibe ich die komplette Installation samt Stolperfallen und zeige, wie gut das Stimmklonen mit meiner eigenen Stimme funktioniert.

Was ist CosyVoice 3? Darf man es kommerziell nutzen?

CosyVoice ist ein Open-Source-Modell zur Sprachgenerierung von Alibaba (der Copyright-Vermerk im Quellcode nennt Alibaba Inc.). Die neueste Open-Source-Version ist Fun-CosyVoice3-0.5B-2512 vom Dezember 2025. Die folgenden Angaben stammen von der Hugging-Face-Modellseite, Stand 21.11.2026:

Punkt

Details

Parameter

0,5B (500 Millionen)

Lizenz

Apache-2.0, kommerzielle Nutzung erlaubt

Sprachen

Chinesisch, Englisch, Japanisch, Koreanisch, Deutsch, Spanisch, Französisch, Italienisch, Russisch, insgesamt 9

Chinesische Dialekte

mehr als 18, z. B. Kantonesisch, Minnan, Sichuanesisch, nordostchinesischer Dialekt, Shanghainesisch

Stimmklon

eine Referenzaufnahme genügt, auch sprachübergreifend (eine chinesische Stimme spricht Englisch)

Steuerung per Anweisung

ein Satz legt Dialekt, Sprechtempo, Lautstärke oder Emotion fest

In den offiziellen Benchmarks erzielt CosyVoice 3 auf dem chinesischen Testset eine niedrigere Zeichenfehlerrate (CER) und eine höhere Stimmähnlichkeit als der Vorgänger CosyVoice 2.

Ist CosyVoice 3.5 Open Source?

Nein. Alibaba hat CosyVoice 3.5 im März 2026 vorgestellt, es ist aber nur über die API von Alibaba Cloud Model Studio (Bailian) nutzbar, und das nur in der Region Peking. Stand 21.11.2026 gibt es auf Hugging Face keine Gewichte für 3.5; auf GitHub hat ein Nutzer in einem Issue gefragt, ob die Modellgewichte veröffentlicht werden. Eine offizielle Antwort gibt es nicht. Wer das Modell lokal laufen lassen will und eine kommerzielle Lizenz braucht, nimmt also derzeit 3.0.

Übrigens ist das GitHub-Repository von FunAudioLLM/CosyVoice nach QwenAudio/CosyVoice umgezogen; die alte Adresse leitet automatisch weiter.

Systemanforderungen: Läuft es ohne NVIDIA-Grafikkarte?

Ja, nur langsamer. Mein Laptop hat einen Intel Core Ultra 5 322 (6 Kerne) mit integrierter Panther-Lake-Grafik und keine dedizierte Grafikkarte. Für denselben etwa 8 Sekunden langen chinesischen Satz habe ich folgende Zeiten gemessen:

Hardware

Generierungszeit

Echtzeitfaktor (kleiner = schneller)

CPU (6 Kerne)

115 s

15,6

Intel-iGPU (PyTorch XPU)

21,5 s

2,5

Dazu kommen etwa 12 Sekunden zum Laden des Modells. Wenn man auf der iGPU einen ganzen Stapel Sätze erzeugt, wird das Modell nur einmal geladen, und ein Satz von 4 bis 6 Sekunden ist in etwa 15 bis 30 Sekunden fertig.

Die offizielle Installation ist auf NVIDIA-Karten (CUDA) ausgelegt. Mit einer Intel-iGPU braucht es ein paar zusätzliche Schritte, die ich weiter unten erkläre.

CosyVoice 3 installieren (CPU-Version)

Meine Umgebung: Linux (Arch), Python verwalte ich mit uv.

1. Code herunterladen

mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repo

--recursive ist Pflicht, denn das benötigte Matcha-TTS ist ein Submodul.

2. Umgebung anlegen und Pakete installieren

Die offizielle requirements.txt enthält PyTorch für CUDA, TensorRT und DeepSpeed. Ohne NVIDIA-Karte brauche ich davon nichts. Ich installiere nur die Pakete, die wirklich nötig sind, und lege die CPU-Variante von PyTorch als Abhängigkeit fest:

uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
  --index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
  "torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
  hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
  onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
  soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
  lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
  wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hub

Hier gab es drei Stolperfallen:

  • openai-whisper lässt sich nicht bauen: Das Installationsskript braucht pkg_resources, das in neuen setuptools-Versionen entfernt wurde. Also zuerst setuptools<81 installieren und das Paket dann nicht in einer isolierten Umgebung bauen lassen (--no-build-isolation-package).
  • Ohne lightning und rich lädt das Modell nicht: Die Konfigurationsdatei des Modells nutzt diese beiden Pakete, sie müssen also ebenfalls installiert werden.
  • Die Meldung no frontend is avaliable: Das Textnormalisierungspaket wetext lädt Daten von ModelScope, und bei mir wurde der Zugriff abgelehnt (403). Die Generierung funktioniert trotzdem, und CosyVoice 3 kommt mit normalen Zahlen und Zeichen auch selbst zurecht; weiter unten teste ich das.

3. Modell herunterladen (und 4 GB sparen)

Das komplette Modell ist etwa 9,8 GB groß, einige Dateien werden bei dieser Installation aber nicht gebraucht und können übersprungen werden:

from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
    local_dir="models/Fun-CosyVoice3-0.5B",
    ignore_patterns=["flow.decoder.estimator.fp32.onnx",   # für TensorRT
                     "speech_tokenizer_v3.batch.onnx",      # für Batch-Inferenz
                     "llm.rl.pt"])                          # RL-Version, wird standardmäßig nicht geladen

Danach sind es 5,1 GB.

4. Den ersten Satz erzeugen

Der Prompt von CosyVoice 3 hat ein festes Format: Vorne muss You are a helpful assistant.<|endofprompt|> stehen. Angepasst nach dem offiziellen example.py:

import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"

# Stimmklon: Referenzaufnahme + Transkript der Referenzaufnahme
out = m.inference_zero_shot("Zu sprechender Text", SYS + "Inhalt der Referenzaufnahme", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)

Die drei wichtigsten Funktionen:

Funktion

Zweck

inference_zero_shot(text, SYS+transkript, referenz)

Stimmklon mit der größten Ähnlichkeit zur Referenz. Benötigt das Transkript der Referenzaufnahme

inference_cross_lingual(SYS+text, referenz)

Kein Transkript nötig, gut für andere Sprachen, z. B. eine chinesische Stimme Englisch sprechen lassen

inference_instruct2(text, anweisung, referenz)

Ein Satz legt Dialekt, Sprechtempo oder Emotion fest. Format der Anweisung siehe unten

Eine Anweisung sieht so aus: "You are a helpful assistant. 请用广东话表达。<|endofprompt|>". Vorne steht derselbe feste Anfang, in der Mitte die Anweisung, am Ende <|endofprompt|>.

Ich habe das alles in einen Befehl unter ~/tools/cosyvoice/ gepackt, den ich aus jedem Projekt aufrufen kann.

Fortgeschritten: 5-mal schneller mit der Intel-iGPU (PyTorch XPU)

Das PyTorch-Backend für Intel-Grafikchips heißt XPU. Das von CosyVoice verwendete PyTorch 2.3.1 unterstützt XPU noch nicht, deshalb habe ich eine zweite Umgebung angelegt und die CPU-Umgebung unverändert gelassen.

1. Intels Compute-Treiber installieren

Ein normales Desktop-System hat nur den Grafiktreiber für die Anzeige. Damit PyTorch auf dem Grafikchip rechnen kann, braucht es zusätzlich Intels Compute-Treiber (Level Zero). Unter Arch Linux:

sudo pacman -S intel-compute-runtime

2. PyTorch in der XPU-Version installieren

uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"

Wenn True Intel(R) Graphics erscheint, wurde die iGPU erkannt. Bei mir wurde PyTorch 2.14.1 installiert.

Danach installiert man die oben aufgelisteten Pakete in diese Umgebung und gibt mit -c eine Constraints-Datei mit. Darin steht die aktuell installierte torch-Version, damit torch beim Installieren anderer Pakete nicht durch eine Version ohne XPU ersetzt wird.

3. Die inkompatible triton-Version entfernen

Nach der Installation schlägt import transformers mit der Fehlermeldung cannot import name 'make_tensordesc_args' fehl. Der Grund: openai-whisper hat nebenbei eine alte triton-Version installiert und damit das triton-xpu überschrieben, das PyTorch XPU braucht. Alte Version entfernen, triton-xpu neu installieren, fertig:

VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
  --index-url https://download.pytorch.org/whl/xpu triton-xpu

4. Das Modell auf die iGPU verschieben

Der Code von CosyVoice kennt nur CUDA: Ohne NVIDIA-Karte nimmt er automatisch die CPU. Statt den offiziellen Code zu ändern, lade ich das Modell zuerst auf der CPU und verschiebe dann die drei Hauptnetze auf die iGPU:

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
    getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = dev

So gibt es keine Konflikte, wenn der offizielle Code aktualisiert wird. Beim ersten Lauf auf der iGPU wird erst kompiliert, das kostet gut zehn Sekunden extra; danach läuft alles normal.

Test 1: Die eigene Stimme klonen – am Beispiel meiner Stimme

Ich habe mit dem Handy eine 8 Sekunden lange Aufnahme meiner Stimme als Referenz für den Klon gemacht.

Hinweis: Alle Hörbeispiele in diesem Beitrag geben die Stimme des Autors Terry L oder Klone dieser Stimme wieder. Alle Rechte vorbehalten. Bitte nicht herunterladen, weiterverbreiten oder anderweitig verwenden (auch nicht zum Klonen).
Meine Originalaufnahme (8 Sekunden) auf Chinesisch: „歡迎大家來到我的月球基地。我的文章記錄我對於各種工具的測試,希望對您有幫助。“ (Willkommen in meiner Mondbasis. In meinen Beiträgen teste ich alle möglichen Tools und hoffe, dass sie euch helfen.) Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.

Den folgenden Satz habe ich nie gesprochen. CosyVoice 3 hat ihn aus der chinesischen Aufnahme oben auf Deutsch erzeugt:

Meine geklonte Stimme auf Deutsch: „Dieser Satz wurde von CosyVoice 3 aus einer acht Sekunden langen Aufnahme meiner Stimme erzeugt. Ich habe ihn nie gesagt.“ Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.

Ich finde, die erzeugte Stimme klingt meiner eigenen sehr ähnlich.

Sprachübergreifender Stimmklon: Das Beispiel oben zeigt bereits einen solchen Klon, denn die Referenzaufnahme ist auf Chinesisch. Mit derselben Aufnahme funktioniert das auch auf Englisch, Japanisch oder Kantonesisch:

Meine geklonte Stimme auf Englisch: „This sentence was generated by CosyVoice 3 from an eight-second clip of my voice. I never actually said it.“ Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.
Meine geklonte Stimme auf Japanisch (in Katakana eingegeben): „この声は、私の8秒の録音から作られました。“ Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.
Meine geklonte Stimme auf Kantonesisch: „歡迎嚟到我嘅月球基地部落格。“ (Willkommen im Blog meiner Mondbasis.) Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.

Die englischen, japanischen und kantonesischen Beispiele habe ich zusätzlich mit einer Spracherkennung (Whisper) zurück in Text umgewandelt und verglichen: Alles stimmte, kein Wort zu viel, keins zu wenig.

Wie nimmt man die Referenz auf?

  • 5 bis 10 Sekunden reichen. Ich habe auch eine 20-Sekunden-Referenz ausprobiert, da dauerte die Generierung 2- bis 3-mal so lange.
  • Ruhige Umgebung, nur eine Person spricht: Hintergrundmusik und Geräusche werden mitgeklont.
  • Transkript mitgeben: Bei inference_zero_shot muss das Transkript Wort für Wort zur Aufnahme passen. Wer den genauen Wortlaut nicht kennt, lässt die Aufnahme vorher von Whisper transkribieren oder nimmt inference_cross_lingual.
  • Zu leise Aufnahmen vorher lauter machen: Meine Handyaufnahme hatte im Schnitt nur -31 dB. Ich habe Stille am Anfang und Ende abgeschnitten und die Lautstärke angepasst, bevor ich meine Stimme geklont habe.

Tonfall und Tempo werden mitgeklont

CosyVoice 3 klont nicht nur die Klangfarbe: Sprechtempo, Tonfall und Tonhöhenverlauf folgen ebenfalls der Referenz. Bei inference_zero_shot werden Referenzaufnahme und Transkript als „das bisher Gesagte“ behandelt, und das Modell spricht einfach weiter, im selben Stil.

In meinem Test spreche ich in der Originalaufnahme etwa 4,3 chinesische Zeichen pro Sekunde; ein daraus erzeugter chinesischer Satz mit meiner geklonten Stimme kommt auf etwa 4,4: fast dasselbe Tempo. Ganz so konstant ist es aber nicht immer: Derselbe Satz mit einem anderen Seed kam nur auf 3,6 Zeichen pro Sekunde, und Arthurs auf Chinesisch geklonter Satz war etwas schneller als die Referenz. Bei wichtigen Sätzen lohnt es sich also, mehrere Versionen zu erzeugen und die beste auszuwählen.

Das heißt:

  • Die Referenz gleich im gewünschten Tonfall aufnehmen: Für einen wütenden Satz eine wütend gesprochene Referenz verwenden; soll das Ergebnis sanft und langsam klingen, auch die Referenz so einsprechen. Eine Figur kann mehrere Referenzen haben, etwa normal, aufgeregt und geflüstert.
  • Schwächen der Referenz werden mitkopiert: Ist die Referenz zu schnell, zu monoton oder von Hall oder Rauschen geprägt, klingt der Klon genauso.
  • Drei Wege zum Feintuning: den Parameter speed für schneller oder langsamer; eine Anweisung mit inference_instruct2, z. B. „请用尽可能慢地语速说一句话。“; oder auf inference_cross_lingual umsteigen.

Im Quellcode sieht man, dass inference_cross_lingual die Referenzaufnahme nicht an das Sprachmodell weitergibt, das den Rhythmus bestimmt. Die Referenz legt nur die Klangfarbe fest, deshalb wird ihr Rhythmus weniger übernommen.

Test 2: Synchronstimme für Arthur, den Roboter-Barkeeper

Auf der Startseite meiner Website gibt es eine 3D-Mondbasis mit einer Bar, und dort steht Arthur, ein Roboter-Barkeeper, hinter der Theke. Die Figur ist eine Hommage an Arthur, den Androiden-Barkeeper aus dem Film Passengers (2016), und einige Sätze sind an den Film angelehnt. Im Film wird Arthur von Michael Sheen gespielt; seine Stimme ahme ich hier bewusst nicht nach.

Auch in diesem Abschnitt verwende ich meine eigene Stimme (dieselbe 8-Sekunden-Aufnahme) für Arthurs Sätze.

Meine aus der chinesischen Aufnahme geklonte Stimme: „Ein Barkeeper bewahrt Geheimnisse. Das ist das heilige Vertrauen seines Handwerks.“ Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.
Sprachübergreifend: Meine anhand der chinesischen Aufnahme geklonte Stimme spricht Englisch: „A bartender keeps confidence. It's the sacred trust of the craft.“ Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.

Wenn etwas falsch ausgesprochen wird, kann man CosyVoice 3 die Aussprache direkt im Text vorgeben: Bei chinesischen Schriftzeichen mit mehreren Lesungen schreibt man Pinyin, etwa [h][áng]; bei englischen Wörtern lässt sich die Aussprache mit CMU-Phonemen festlegen. Mir ist das einmal passiert: In einem chinesischen Satz wurde das Zeichen „尷“ falsch gelesen. Ich habe es durch [g][ān] ersetzt, den Satz neu generiert, und die Aussprache stimmte.

Japanisch vorher in Katakana umwandeln

Die offiziellen Beispiele weisen ausdrücklich darauf hin: Japanischen Text vor der Eingabe in Katakana umwandeln. Ich habe beides ausprobiert. Mit Kanji und Hiragana wich der von der Spracherkennung transkribierte Text stark ab, einige Wörter waren falsch; mit Katakana stimmte alles.

Japanisch direkt eingegeben: „バーテンダーは秘密を守るものです。それがこの仕事の神聖な信頼です。“ Die Spracherkennung liefert mehrere falsche Wörter. Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.
Derselbe Satz in Katakana: „バーテンダー ワ ヒミツ オ マモル モノ デス……“ Die Spracherkennung liefert den richtigen Text. Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.

Für eine japanische Synchronfassung kann man einen KI-Coding-Assistenten bitten, die Sätze vorher in Katakana umzuwandeln, und sie dann an CosyVoice geben.

Test 3: Dialekt, Emotion und Tempo per Anweisung steuern

Mit inference_instruct2 lässt sich die Sprachausgabe durch eine Anweisung in einem einzigen Satz steuern. Im offiziellen Code sind die unterstützten Anweisungen aufgelistet: 17 Dialekte, dazu Lautstärke, Sprechtempo, Emotion und sogar „wie ein Roboter sprechen“.

Anweisungen funktionieren auf vereinfachtem Chinesisch oder auf Englisch. Die meisten offiziellen Anweisungen sind auf vereinfachtem Chinesisch formuliert, die beiden zur Lautstärke auf Englisch („Please say a sentence as loudly as possible.“ und „Please say a sentence in a very soft voice.“).

Ich habe drei Formulierungen für „so langsam wie möglich“ am selben Satz getestet:

Anweisung

Sprechdauer

Keine Anweisung

etwa 4 bis 5 s

Vereinfachtes Chinesisch „请用尽可能慢地语速说一句话。“

8,2 s

Englisch „Please say a sentence as slowly as possible.“

8,5 s

Traditionelles Chinesisch „請用盡可能慢地語速說一句話。“

5,3 s

Die Anweisungen auf vereinfachtem Chinesisch und Englisch verlangsamen das Sprechtempo deutlich; die Anweisung auf traditionellem Chinesisch bewirkt fast nichts. Die englische Anweisung steht nicht in der offiziellen Liste, funktioniert aber trotzdem. Wer kein Chinesisch kann, schreibt die Anweisungen also einfach auf Englisch.

Für alle folgenden Beispiele verwende ich meine Stimme. Der Satz lautet „歡迎來到月球基地的酒吧。今天想喝點什麼?“ (Willkommen in der Bar der Mondbasis. Was darf ich dir heute bringen?):

Anweisung „你可以尝试用机器人的方式解答吗?“ (Kannst du wie ein Roboter antworten?): Roboterstil, passt perfekt zu Arthur. Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.
Anweisung „请非常开心地说一句话。“ (Sprich einen Satz sehr fröhlich.) Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.
Anweisung „请用尽可能慢地语速说一句话。“ (Sprich einen Satz so langsam wie möglich.): Derselbe Satz dauert jetzt 8 Sekunden. Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.
Anweisung „请用广东话表达。“ (Sprich Kantonesisch.), der Satz in kantonesischer Schreibweise: „歡迎嚟到月球基地嘅酒吧。今日想飲啲咩?“ Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.
Anweisung „请用四川话表达。“ (Sprich Sichuanesisch.) Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.

Für Kantonesisch muss der Satz in kantonesischer Schreibweise stehen (嚟, 嘅, 啲, 咩); nur dann liefert die Spracherkennung exakt den richtigen Text.

Und Minnan (Hokkien)?

Die offizielle Dialektliste enthält Minnan (Hokkien). Mit demselben Satz und der Anweisung „请用闽南话表达。“ klingt das Ergebnis für mich überhaupt nicht nach taiwanischem Hokkien (Taiwanese Hokkien), und auch die Satzmelodie stimmt nicht.

Anweisung „请用闽南话表达。“ (Sprich Minnan.), Satz: „歡迎來到月球基地的酒吧。今天想喝點什麼?“ Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.

Tags für Atmen und Lachen

Im Text kann man Tags wie [breath] (Atemzug), <laughter>…</laughter> (lachend sprechen) oder <strong>…</strong> (betonen) einfügen:

„如果我不擦杯子,[breath]我就非得找話聊不可。<laughter>那樣一來,客人都會覺得很[g][ān]尬。</laughter>“ (Wenn ich keine Gläser poliere, muss ich Smalltalk machen. Und dann wird es für die Gäste richtig peinlich.) Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.

Ehrlich gesagt höre ich weder das Atmen noch das Lachen. Zumindest in diesem Test hatten die Tags keinen merklichen Effekt, also nicht zu viel erwarten.

Zahlen und Uhrzeiten

Wie oben erwähnt, fehlt in meiner Umgebung das Textnormalisierungspaket. Ich habe einen Satz mit Zahlen und einer Uhrzeit getestet:

„一杯特調 120 元,第 2 杯打 8 折,營業到 23:30。“ (Ein Signature-Drink kostet 120, der zweite 20 Prozent weniger, geöffnet bis 23:30.) Alle Rechte vorbehalten, bitte nicht anderweitig verwenden.

„120 元“, „8 折“ und „23:30“ wurden alle richtig gesprochen. Auch ohne das Normalisierungspaket kommt CosyVoice 3 mit normalen Zahlen und Uhrzeiten zurecht.

Bei komplizierteren Formaten wie Telefonnummern, Versionsnummern, Datums- oder Zeitangaben ist es trotzdem sicherer, sie in chinesischen Zahlzeichen auszuschreiben. Eine Uhrzeit kann man zum Beispiel als „十一點半“ (halb zwölf) schreiben.

CosyVoice 3 im Vergleich mit anderen Open-Source-TTS-Modellen

Im Vergleich mit den Modellen aus dem letzten Beitrag fallen mir bei CosyVoice 3 folgende Unterschiede auf:

  • Deutlich besseres Klonen chinesischer Stimmen als mit der chinesischen Version von Chatterbox: Mit derselben Referenzaufnahme und denselben Sätzen habe ich die chinesische Chatterbox-Version zum Vergleich getestet. Viele Wörter waren undeutlich oder falsch, die Qualität war sehr schlecht. Wer eine chinesische Stimme klonen will, kann Chatterbox überspringen und sich den Test sparen.
  • Stimmklon plus Steuerung per Anweisung: Bei CosyVoice 3 lassen sich mit einem Satz Dialekt, Emotion und Tempo festlegen; Kokoro hat nur eingebaute Stimmen und kann nicht klonen.
  • Traditionelles Chinesisch direkt nutzbar: Die meisten meiner Sätze in traditionellem Chinesisch wurden richtig gesprochen, ohne den ganzen Satz wie bei Qwen3-TTS in vereinfachtes Chinesisch umwandeln zu müssen.
  • Weniger Sprachen: nur 9. Die mehrsprachige Version von Chatterbox unterstützt 23; Vietnamesisch, Indonesisch oder Türkisch etwa kann CosyVoice 3 nicht.
  • Deutlich langsamer als Kokoro: Kokoro erzeugt einen Satz auf der CPU in gut zehn Sekunden; CosyVoice 3 ist erst mit der iGPU wirklich praktikabel.

Darf man die Stimme anderer Leute klonen?

Technisch lässt sich jede Stimme klonen, wenn es eine saubere Aufnahme gibt, und das Ergebnis ist sehr gut. Gerade deshalb gilt: Nur die eigene Stimme klonen oder die von Menschen, die zugestimmt haben. Die Stimmen bekannter Personen sind durch das Persönlichkeitsrecht geschützt, und jemandem Worte in den Mund zu legen, die er nie gesagt hat, kann Betrug oder Verleumdung sein.

Die Apache-2.0-Lizenz von CosyVoice 3 erlaubt die kommerzielle Nutzung des Modells selbst; sie bedeutet nicht, dass man jede beliebige Stimme verwenden darf. Ich mache es so: Ich nutze meine eigene Stimme, oder ich erzeuge die Originalstimme einer Figur mit den eingebauten Stimmen eines Open-Source-Modells wie Kokoro und klone diese dann.

Häufige Fragen

Darf man CosyVoice 3 kommerziell nutzen?

Ja. Fun-CosyVoice3-0.5B-2512 steht unter der Apache-2.0-Lizenz, die kommerzielle Nutzung erlaubt. Die Referenzstimme muss aber deine eigene sein oder von jemandem stammen, der zugestimmt hat.

Kann ich mit CosyVoice 3 meine Stimme auf Deutsch klonen?

Ja. Deutsch gehört zu den 9 unterstützten Sprachen (Chinesisch, Englisch, Japanisch, Koreanisch, Deutsch, Spanisch, Französisch, Italienisch, Russisch). In diesem Beitrag spricht meine geklonte Stimme Deutsch, obwohl die Referenzaufnahme auf Chinesisch ist.

Spricht CosyVoice 3 Kantonesisch oder Hokkien?

Kantonesisch ja; am besten klappt es, wenn der Satz in kantonesischer Schreibweise steht (嚟, 嘅, 啲). Die offizielle Dialektliste enthält Minnan (Hokkien), aber im Test klang es für mich nicht nach taiwanischem Hokkien, und die Satzmelodie stimmte nicht.

Läuft CosyVoice 3 ohne NVIDIA-Grafikkarte?

Ja. Auf der CPU braucht ein 8-Sekunden-Satz fast zwei Minuten, mit der Intel-iGPU (PyTorch XPU) etwa 20 Sekunden. Dafür müssen vorher Intels Compute-Treiber und PyTorch in der XPU-Version installiert sein.

Ist CosyVoice 3.5 Open Source?

Stand 21.11.2026 nicht. CosyVoice 3.5 ist nur über die API von Alibaba Cloud Model Studio (Bailian) nutzbar, auf Hugging Face gibt es keine Gewichte.

Wie lang muss die Aufnahme sein, um die eigene Stimme zu klonen?

5 bis 10 Sekunden reichen. Die Aufnahme sollte in einer ruhigen Umgebung entstehen, und es sollte nur eine Person sprechen. Dazu gehört ein wortgenaues Transkript. Je länger die Referenz, desto langsamer die Generierung.

Fazit: 8 Sekunden Aufnahme für die eigene Synchronstimme

Mit CosyVoice 3 erscheint es mir zum ersten Mal realistisch, ein Spiel oder Video mit meiner eigenen Stimme zu vertonen: 8 Sekunden aufnehmen, den Rest der Sätze spricht das Modell, auf Deutsch, Englisch, Japanisch oder sogar Kantonesisch. Keine NVIDIA-Karte? Kein Problem, die CPU reicht; mit einer Intel-iGPU geht es noch 5-mal schneller.

Wenn du CosyVoice 3 ausprobiert hast oder Tests zu anderen Modellen sehen möchtest, schreib mir gern auf Threads oder X.