Musim gugur 2026 · Dikirim dari Pangkalan Ketenangan
Mampir ke studio bulan ↗
Tools AI

CosyVoice 3: kloning suara AI gratis, berjalan di CPU

Kloning suara AI lintas bahasa dari rekaman 8 detik. Tetap berjalan di CPU tanpa kartu grafis: instalasi, uji kloning, dan perintah.

Di studio rekaman pangkalan bulan, seorang astronaut berbicara ke mikrofon, sementara tiga gelombang suara berwarna-warni melayang ke arah robot bartender, speaker, dan laptop
Di studio rekaman pangkalan bulan, seorang astronaut berbicara ke mikrofon, sementara tiga gelombang suara berwarna-warni melayang ke arah robot bartender, speaker, dan laptop

Dalam artikel sebelumnya, Dubbing AI Gratis: Kokoro, Chatterbox TTS untuk Bahasa Inggris, saya membandingkan beberapa model TTS (text to speech) open source dan berjanji akan membahas tiap model secara terperinci. Kali ini giliran CosyVoice 3: cukup dengan rekaman 8 detik, model ini bisa membacakan kalimat baru dengan suara orang tersebut, bahkan dalam bahasa yang berbeda dari rekamannya.

Laptop saya tidak punya kartu grafis NVIDIA, tapi cukup dengan CPU pun model ini bisa berjalan. Satu kalimat butuh sekitar dua menit, jadi cocok untuk menyiapkan banyak dialog sekaligus lalu membiarkannya berjalan di latar belakang. Kalau komputer Anda punya GPU terintegrasi Intel, Anda bisa memakainya untuk mempercepat proses, sekitar 5 kali lebih cepat. Dalam artikel ini, saya mencatat seluruh proses instalasi beserta masalah yang saya temui, lalu mencoba kloning suara AI dengan suara saya sendiri.

Apa itu CosyVoice 3? Boleh dipakai untuk keperluan komersial?

CosyVoice adalah model pembuat suara open source dari Alibaba (hak cipta kode sumbernya atas nama Alibaba Inc.). Versi open source terbarunya adalah Fun-CosyVoice3-0.5B-2512, dirilis Desember 2025. Data berikut bersumber dari halaman model di Hugging Face, yang saya periksa pada 21 November 2026:

Item

Keterangan

Jumlah parameter

0.5B (500 juta)

Lisensi

Apache-2.0, boleh dipakai untuk keperluan komersial

Bahasa

Mandarin, Inggris, Jepang, Korea, Jerman, Spanyol, Prancis, Italia, Rusia, total 9 bahasa

Dialek Tionghoa

Lebih dari 18, misalnya Kanton, Minnan (Hokkien), Sichuan, dialek Timur Laut, Shanghai

Kloning suara

Cukup satu sampel suara referensi, bisa juga lintas bahasa (suara berbahasa Mandarin membaca teks bahasa Inggris)

Kontrol lewat perintah

Satu kalimat perintah untuk mengatur dialek, kecepatan bicara, volume, dan emosi

Bahasa Indonesia tidak ada dalam daftar ini. Per 21 November 2026, CosyVoice 3 belum bisa berbahasa Indonesia; yang didukung hanya 9 bahasa di tabel di atas. Meski begitu, Anda tetap bisa mengkloning suara sendiri lalu membuatnya membacakan teks bahasa Inggris, Mandarin, atau bahasa lain yang didukung.

Di tabel evaluasi resminya, tingkat kesalahan karakter (CER) CosyVoice 3 pada set uji bahasa Mandarin lebih rendah daripada generasi sebelumnya, CosyVoice 2, dan kemiripan suaranya juga lebih tinggi.

Apakah CosyVoice 3.5 open source?

Tidak. Alibaba mengumumkan CosyVoice 3.5 pada Maret 2026, tetapi saat ini hanya bisa dipakai lewat API Alibaba Cloud Model Studio, dan hanya tersedia di wilayah Beijing. Sampai 21 November 2026, belum ada bobot model 3.5 di Hugging Face. Di GitHub juga ada pengguna yang bertanya di sebuah issue apakah model ini akan dirilis sebagai open source, tetapi belum ada jawaban resmi. Kalau ingin menjalankannya di komputer sendiri dan butuh lisensi komersial, untuk sekarang pakai versi 3.0.

Satu lagi: repositori GitHub CosyVoice sudah pindah dari FunAudioLLM/CosyVoice ke QwenAudio/CosyVoice, dan alamat lama otomatis dialihkan.

Spesifikasi komputer: bisa berjalan tanpa kartu grafis NVIDIA?

Bisa, hanya lebih lambat. Laptop saya memakai Intel Core Ultra 5 322 (6 core) dengan GPU terintegrasi Panther Lake, tanpa kartu grafis terpisah. Untuk satu kalimat bahasa Mandarin sepanjang kira-kira 8 detik:

Dijalankan dengan

Waktu pembuatan

Rasio waktu (makin kecil makin cepat)

CPU (6 core)

115 detik

15.6

GPU terintegrasi Intel (PyTorch XPU)

21.5 detik

2.5

Memuat model juga butuh sekitar 12 detik. Saat membuat banyak dialog sekaligus dengan GPU terintegrasi, model cukup dimuat sekali, dan satu kalimat 4–6 detik selesai dalam kira-kira 15–30 detik.

Cara instalasi resminya dirancang untuk kartu grafis NVIDIA (CUDA). Untuk GPU terintegrasi Intel perlu beberapa langkah tambahan, yang akan saya jelaskan nanti.

Cara instal CosyVoice 3 (versi CPU)

Saya memakai Linux (Arch), dan Python dikelola dengan uv.

1. Unduh kode

mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repo

Wajib pakai --recursive, karena Matcha-TTS yang dipakainya adalah submodule.

2. Buat lingkungan virtual dan instal paket

requirements.txt resmi berisi PyTorch versi CUDA, TensorRT, dan DeepSpeed; laptop tanpa kartu NVIDIA tidak membutuhkannya. Saya hanya menginstal paket yang benar-benar perlu dan memilih PyTorch versi CPU:

uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
  --index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
  "torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
  hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
  onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
  soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
  lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
  wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hub

Pada tahap ini, saya menemui tiga masalah:

  • Build openai-whisper gagal: program instalasinya membutuhkan pkg_resources, yang sudah dihapus dari setuptools versi baru. Instal setuptools<81 dulu, lalu jalankan proses build tanpa isolasi lingkungan (--no-build-isolation-package).
  • Tanpa lightning dan rich, model gagal dimuat: file konfigurasi model memakai kedua paket ini, jadi harus ikut diinstal.
  • Pesan no frontend is avaliable: paket normalisasi teks wetext harus mengunduh data dari ModelScope, dan pada instalasi saya, permintaannya ditolak (403). Tanpa paket itu suara tetap bisa dibuat, dan CosyVoice 3 sendiri bisa menangani angka serta simbol biasa, seperti yang saya uji di bagian berikutnya.

3. Unduh model (hemat 4 GB)

Unduhan model lengkap sekitar 9.8 GB, tetapi beberapa filenya tidak dipakai dalam instalasi ini dan bisa dilewati:

from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
    local_dir="models/Fun-CosyVoice3-0.5B",
    ignore_patterns=["flow.decoder.estimator.fp32.onnx",   # Untuk TensorRT
                     "speech_tokenizer_v3.batch.onnx",      # Untuk inferensi batch
                     "llm.rl.pt"])                          # Versi reinforcement learning, tidak dimuat secara default

Tiga file yang dilewati itu adalah file untuk TensorRT, file untuk inferensi batch, dan versi reinforcement learning yang tidak dimuat secara default. Setelah diunduh, ukurannya jadi 5.1 GB.

4. Buat kalimat pertama

Prompt CosyVoice 3 punya format tetap: di depannya harus ada You are a helpful assistant.<|endofprompt|>. Contoh ini saya tulis ulang dari example.py resmi:

import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"

# Kloning suara: file audio referensi + transkrip audio referensi
out = m.inference_zero_shot("Dialog yang akan dibacakan", SYS + "Isi ucapan dalam audio referensi", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)

Dalam contoh ini, parameter pertama adalah kalimat yang akan dibacakan, yang kedua transkrip audio referensi, dan yang ketiga file audio referensinya.

Tiga fungsi utamanya:

Fungsi

Kegunaan

inference_zero_shot(text, SYS+transcript, ref_audio)

Kloning suara, hasilnya paling mirip. Perlu transkrip audio referensi

inference_cross_lingual(SYS+text, ref_audio)

Tidak perlu transkrip, cocok untuk lintas bahasa, misalnya suara berbahasa Mandarin membacakan teks bahasa Inggris

inference_instruct2(text, instruction, ref_audio)

Satu kalimat perintah untuk mengatur dialek, kecepatan, emosi. Format perintahnya ada di bawah

Perintahnya ditulis seperti "You are a helpful assistant. 请用广东话表达。<|endofprompt|>": di depan tetap kalimat pembuka yang sama, di tengah perintahnya, lalu diakhiri <|endofprompt|>.

Semua ini saya kemas menjadi satu perintah di ~/tools/cosyvoice/, sehingga bisa langsung dipanggil dari proyek mana pun.

Lanjutan: 5 kali lebih cepat dengan GPU terintegrasi Intel (PyTorch XPU)

Backend PyTorch untuk GPU Intel bernama XPU. CosyVoice memakai PyTorch 2.3.1 yang belum mendukung XPU, jadi saya membuat lingkungan virtual terpisah dan membiarkan lingkungan CPU tetap seperti semula.

1. Instal driver komputasi Intel

Sistem desktop biasa hanya memasang driver tampilan. Agar PyTorch bisa memakai GPU untuk komputasi, Anda juga perlu driver komputasi Intel (Level Zero). Di Arch Linux:

sudo pacman -S intel-compute-runtime

2. Instal PyTorch versi XPU

uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"

Kalau muncul True Intel(R) Graphics, berarti GPU terintegrasinya sudah terdeteksi. Versi yang terinstal di laptop saya adalah PyTorch 2.14.1.

Setelah itu, instal paket-paket tadi ke lingkungan virtual ini dan tambahkan -c untuk menunjuk file batasan versi. Tulis versi torch yang sedang terinstal di file itu, agar torch tidak diganti dengan versi non-XPU saat paket lain diinstal.

3. Hapus triton yang bentrok

Setelah instalasi, import transformers gagal dengan pesan kesalahan cannot import name 'make_tensordesc_args'. Penyebabnya, openai-whisper ikut menginstal triton versi lama yang menimpa triton-xpu yang dibutuhkan PyTorch versi XPU. Hapus versi lama, lalu instal ulang triton-xpu:

VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
  --index-url https://download.pytorch.org/whl/xpu triton-xpu

4. Pindahkan model ke GPU terintegrasi

Kode CosyVoice hanya mengenali CUDA: kalau tidak ada kartu NVIDIA, otomatis pakai CPU. Saya tidak mengubah kode resminya, melainkan memuat model di CPU dulu, lalu memindahkan tiga jaringan utamanya ke GPU terintegrasi:

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
    getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = dev

Dengan cara ini, pembaruan kode resmi nantinya tidak akan menimbulkan konflik dengan penyesuaian saya. Saat pertama kali dijalankan di GPU terintegrasi, proses kompilasi menambah waktu belasan detik. Setelah itu, model berjalan normal.

Uji 1: kloning suara AI dengan suara saya sendiri

Saya merekam 8 detik suara dengan ponsel sebagai referensi kloning. Rekamannya dalam bahasa Mandarin.

Pernyataan: semua contoh audio di artikel ini adalah suara asli penulis, Terry L, atau hasil kloning dari suara penulis sendiri. Hak cipta dilindungi; jangan mengunduh, mengunggah ulang, atau menggunakannya di tempat lain (termasuk untuk kloning).
Rekaman asli saya (8 detik): "歡迎大家來到我的月球基地。我的文章記錄我對於各種工具的測試,希望對您有幫助。" (Selamat datang di pangkalan bulan saya. Artikel-artikel saya mencatat pengujian berbagai alat, semoga bermanfaat.) Hak cipta dilindungi, jangan digunakan di tempat lain

Karena per 21 November 2026 CosyVoice 3 belum bisa berbahasa Indonesia, contoh berikut memakai bahasa Inggris, salah satu dari 9 bahasa yang didukung. Dengan cara yang sama, Anda bisa membuat suara hasil kloning Anda membacakan teks dalam bahasa Inggris, Mandarin, atau bahasa lain yang didukung.

Kalimat di bawah ini tidak pernah saya ucapkan. CosyVoice 3 membuatnya dari rekaman berbahasa Mandarin di atas:

Suara hasil kloning saya membacakan teks bahasa Inggris: "This sentence was generated by CosyVoice 3 from an eight-second clip of my voice. I never actually said it." (Kalimat ini dibuat oleh CosyVoice 3 dari rekaman suara saya sepanjang delapan detik. Saya tidak pernah benar-benar mengucapkannya.) Hak cipta dilindungi, jangan digunakan di tempat lain

Menurut saya, suara yang dihasilkan sangat mirip dengan suara saya sendiri.

Kloning lintas bahasa: klip bahasa Inggris di atas sebenarnya sudah merupakan hasil kloning lintas bahasa, karena rekaman referensi saya berbahasa Mandarin. Dengan rekaman yang sama, model juga bisa membacakan teks bahasa Jepang atau berbicara dalam bahasa Kanton:

Suara hasil kloning saya membacakan teks bahasa Jepang (teks dimasukkan dalam katakana): "この声は、私の8秒の録音から作られました。" (Suara ini dibuat dari rekaman 8 detik saya.) Hak cipta dilindungi, jangan digunakan di tempat lain
Suara hasil kloning saya berbahasa Kanton: "歡迎嚟到我嘅月球基地部落格。" (Selamat datang di blog pangkalan bulan saya.) Hak cipta dilindungi, jangan digunakan di tempat lain

Klip bahasa Inggris, Jepang, dan Kanton ini saya ubah kembali menjadi teks dengan pengenalan suara (Whisper) untuk dicocokkan, dan seluruh isinya benar, tanpa kata tambahan atau kata yang terlewat.

Bagaimana cara merekam audio referensi?

  • 5–10 detik sudah cukup. Saya pernah mencoba referensi 20 detik, dan waktu pembuatannya jadi 2–3 kali lipat.
  • Rekam di tempat tenang, dengan hanya satu orang yang berbicara: musik latar dan derau juga ikut terkloning.
  • Sertakan transkrip: saat memakai inference_zero_shot, transkripnya harus sama persis dengan isi rekaman. Kalau tidak tahu isinya, ubah dulu jadi teks dengan Whisper, atau pakai inference_cross_lingual.
  • Kalau volume rekaman terlalu kecil, naikkan dulu: rata-rata volume rekaman ponsel saya hanya -31 dB, jadi saya memotong jeda hening di awal dan akhir serta menyesuaikan volumenya sebelum dipakai untuk kloning.

Nada dan tempo bicara juga ikut terkloning

CosyVoice 3 tidak hanya mengkloning warna suara; kecepatan bicara, nada, dan naik turunnya intonasi juga mengikuti rekaman referensi. Saat memakai inference_zero_shot, rekaman referensi dan transkripnya dianggap sebagai "ucapan sebelumnya", lalu model melanjutkan bicara dari situ, sehingga gaya bicaranya tetap sama.

Dalam pengujian saya, rekaman asli saya berkecepatan sekitar 4.3 karakter Mandarin per detik, dan kalimat Mandarin yang dihasilkan dari kloning rekaman tersebut sekitar 4.4 karakter per detik, sangat mirip. Tapi tidak selalu sekonsisten itu: kalimat yang sama dengan seed lain melambat menjadi 3.6 karakter per detik, sementara dialog Arthur hasil kloning sedikit lebih cepat daripada referensinya. Jadi untuk dialog penting, sebaiknya buat beberapa versi lalu pilih yang terbaik.

Artinya:

  • Rekam dengan nada yang Anda inginkan: untuk dialog marah, rekam referensi dengan nada marah; untuk bicara lembut dan pelan, bacakan referensinya pelan-pelan. Satu karakter bisa punya beberapa referensi, misalnya nada biasa, emosional, dan berbisik.
  • Kekurangan rekaman referensi juga ikut tersalin: kalau dibaca terlalu cepat, terlalu datar, atau ada gema dan derau, hasil kloningnya juga begitu.
  • Ada tiga cara untuk menyesuaikannya: pakai parameter speed untuk langsung mempercepat atau memperlambat; beri perintah lewat inference_instruct2, misalnya "请用尽可能慢地语速说一句话。" (ucapkan kalimat ini selambat mungkin); atau pakai inference_cross_lingual.

Dari kode sumbernya terlihat bahwa inference_cross_lingual tidak meneruskan rekaman referensi ke model bahasa yang menentukan ritme; referensi hanya dipakai untuk warna suara, sehingga hasilnya tidak terlalu mengikuti ritme rekaman.

Uji 2: dubbing untuk Arthur, robot bartender

Halaman utama situs ini adalah mini game 3D: sebuah pangkalan bulan tempat Anda mengendalikan astronaut. Di dalamnya ada bar dengan robot bartender bernama Arthur. Karakter ini merupakan bentuk penghormatan kepada Arthur, bartender android dalam film Passengers (2016), dan beberapa dialognya juga diadaptasi dari film tersebut. Di film itu, Arthur diperankan oleh Michael Sheen; di sini saya sengaja tidak meniru suaranya.

Di bagian ini saya tetap memakai suara saya sendiri (rekaman 8 detik yang sama) untuk membacakan dialog Arthur:

Lintas bahasa: rekaman Mandarin saya membacakan teks bahasa Inggris "A bartender keeps confidence. It's the sacred trust of the craft." (Bartender selalu menjaga rahasia. Itulah amanah suci profesi ini.) Hak cipta dilindungi, jangan digunakan di tempat lain

Kalau model salah melafalkan sesuatu, Anda bisa menentukan pelafalannya langsung di dalam dialog: untuk karakter Mandarin yang punya beberapa pelafalan, tulis pinyin seperti [h][áng]; untuk kata bahasa Inggris, pakai fonem CMU. Saya sempat mengalaminya sekali: pada dialog di bagian "tag napas dan tawa" di bawah, karakter "尷" salah dibaca pada percobaan pertama. Setelah saya ganti menjadi [g][ān] dan membuat ulang, pelafalannya benar.

Bahasa Jepang harus diubah ke katakana dulu

Contoh resminya secara khusus mencatat: teks bahasa Jepang harus diubah ke katakana sebelum dimasukkan. Saya mencoba keduanya: dengan kanji dan hiragana, teks hasil pengenalan suara meleset cukup jauh dan beberapa kata salah diucapkan; dengan katakana, hasilnya benar.

Input bahasa Jepang langsung: "バーテンダーは秘密を守るものです。それがこの仕事の神聖な信頼です。" Teks hasil pengenalan suara salah di beberapa kata. Hak cipta dilindungi, jangan digunakan di tempat lain
Kalimat yang sama dengan katakana: "バーテンダー ワ ヒミツ オ マモル モノ デス……" Teks hasil pengenalan suara benar. Hak cipta dilindungi, jangan digunakan di tempat lain

Untuk dubbing bahasa Jepang, Anda bisa meminta asisten coding AI mengubah dialog ke katakana dulu, lalu memasukkannya ke CosyVoice.

Uji 3: mengatur dialek, emosi, dan kecepatan dengan perintah

inference_instruct2 bisa menerima perintah dalam satu kalimat. Kode resminya mencantumkan perintah yang didukung, termasuk 17 dialek, serta perintah untuk volume, kecepatan bicara, emosi, dan bicara "seperti robot".

Perintah boleh ditulis dalam bahasa Mandarin aksara sederhana atau bahasa Inggris; kalau tidak bisa bahasa Mandarin, pakai saja perintah bahasa Inggris. Sebagian besar perintah di daftar resmi berbahasa Mandarin aksara sederhana, sedangkan dua perintah volume berbahasa Inggris ("Please say a sentence as loudly as possible." dan "Please say a sentence in a very soft voice.").

Saya mencoba perintah "selambat mungkin" pada dialog yang sama dengan tiga cara penulisan:

Perintah

Durasi dialog

Tanpa perintah

Sekitar 4–5 detik

Aksara sederhana "请用尽可能慢地语速说一句话。"

8.2 detik

Bahasa Inggris "Please say a sentence as slowly as possible."

8.5 detik

Aksara tradisional "請用盡可能慢地語速說一句話。"

5.3 detik

Aksara sederhana dan bahasa Inggris sama-sama jelas memperlambat tempo bicara, sedangkan aksara tradisional hampir tidak berpengaruh. Perintah bahasa Inggris tidak ada di daftar resmi, tapi tetap berfungsi, jadi kalau tidak bisa menulis aksara sederhana, pakai saja bahasa Inggris.

Semua klip di bawah memakai suara saya, dengan dialog "歡迎來到月球基地的酒吧。今天想喝點什麼?" (Selamat datang di bar pangkalan bulan. Hari ini mau minum apa?):

Perintah "你可以尝试用机器人的方式解答吗?" (bisakah kamu menjawab seperti robot?): gaya robot, sangat cocok untuk Arthur. Hak cipta dilindungi, jangan digunakan di tempat lain
Perintah "请非常开心地说一句话。" (ucapkan dengan sangat gembira). Hak cipta dilindungi, jangan digunakan di tempat lain
Perintah "请用尽可能慢地语速说一句话。" (ucapkan selambat mungkin): kalimat yang sama jadi 8 detik. Hak cipta dilindungi, jangan digunakan di tempat lain
Perintah "请用广东话表达。" (ucapkan dalam bahasa Kanton), dialog ditulis dengan gaya tulisan Kanton: "歡迎嚟到月球基地嘅酒吧。今日想飲啲咩?" Hak cipta dilindungi, jangan digunakan di tempat lain
Perintah "请用四川话表达。" (ucapkan dalam dialek Sichuan). Hak cipta dilindungi, jangan digunakan di tempat lain

Dialog bahasa Kanton harus ditulis dengan gaya tulisan Kanton (嚟, 嘅, 啲, 咩) agar teks hasil pengenalan suara benar sepenuhnya.

Bagaimana dengan Minnan (Hokkien)?

Daftar dialek resminya mencantumkan Minnan (Minnan/Hokkien). Saya mencobanya dengan perintah "请用闽南话表达。", tapi hasilnya sama sekali tidak terdengar seperti Taiwanese Hokkien, dan intonasinya pun salah semua.

Perintah "请用闽南话表达。" (ucapkan dalam bahasa Minnan), dialog: "歡迎來到月球基地的酒吧。今天想喝點什麼?" Hak cipta dilindungi, jangan digunakan di tempat lain

Tag napas dan tawa

Anda bisa menambahkan tag ke dalam dialog, seperti [breath] (tarikan napas), <laughter>…</laughter> (bicara sambil tertawa), dan <strong>…</strong> (penekanan):

"如果我不擦杯子,[breath]我就非得找話聊不可。<laughter>那樣一來,客人都會覺得很[g][ān]尬。</laughter>" (Kalau saya tidak mengelap gelas, saya terpaksa harus mengajak ngobrol. Kalau begitu, tamu-tamu pasti merasa canggung.) Hak cipta dilindungi, jangan digunakan di tempat lain

Jujur saja, saya sama sekali tidak bisa mendengar tarikan napas maupun tawanya. Setidaknya dalam pengujian ini, tag-tag tersebut tidak memberi efek yang jelas, jadi jangan berharap terlalu banyak.

Angka dan jam

Seperti yang saya sebut tadi, lingkungan yang saya gunakan tidak memiliki paket normalisasi teks. Saya menguji satu kalimat berisi angka dan jam:

"一杯特調 120 元,第 2 杯打 8 折,營業到 23:30。" (Satu gelas minuman spesial 120, gelas kedua diskon 20%, buka sampai 23:30.) Hak cipta dilindungi, jangan digunakan di tempat lain

"120 元", "8 折", dan "23:30" semuanya dibaca dengan benar. Walaupun tanpa paket normalisasi teks, CosyVoice 3 tetap bisa menangani angka dan jam yang umum.

Namun, untuk penulisan yang lebih rumit, seperti nomor telepon, nomor versi, tanggal, atau jam, lebih aman ditulis dengan huruf. Jam, misalnya, bisa ditulis "setengah dua belas".

CosyVoice 3 dibandingkan TTS open source lain

Dibandingkan model-model di artikel sebelumnya, kelebihan dan kekurangan CosyVoice 3 adalah:

  • Kualitas kloning bahasa Mandarin jauh lebih baik daripada Chatterbox versi Mandarin: saya membandingkannya dengan Chatterbox versi Mandarin memakai rekaman referensi dan dialog yang sama. Pada hasil Chatterbox, banyak karakter yang dibaca tidak jelas atau salah sehingga kualitasnya sangat buruk. Kalau ingin mengkloning suara berbahasa Mandarin, lewati saja Chatterbox, tidak perlu buang waktu mengujinya.
  • Kloning suara dengan kontrol lewat perintah: CosyVoice 3 bisa mengatur dialek, emosi, dan kecepatan dengan satu kalimat; Kokoro hanya punya suara bawaan dan tidak bisa mengkloning suara.
  • Bahasanya lebih sedikit: hanya 9 bahasa. Chatterbox versi multibahasa mendukung 23 bahasa; bahasa seperti Vietnam, Indonesia, dan Turki tidak didukung CosyVoice 3.
  • Jauh lebih lambat daripada Kokoro: Kokoro di CPU cukup belasan detik untuk satu kalimat; CosyVoice 3 baru benar-benar praktis kalau memakai GPU terintegrasi.

Bolehkah mengkloning suara orang lain?

Secara teknis, suara siapa pun bisa dikloning asalkan ada rekaman yang bersih, dan hasilnya sangat bagus. Justru karena itu, kloninglah hanya suara Anda sendiri atau suara orang yang sudah memberi izin. Suara tokoh terkenal dilindungi hak kepribadian; memakai suara orang lain untuk mengucapkan hal yang tidak pernah ia katakan juga bisa termasuk penipuan atau pencemaran nama baik.

Lisensi Apache-2.0 CosyVoice 3 mengizinkan penggunaan model untuk keperluan komersial, tetapi bukan berarti Anda boleh memakai suara siapa saja. Cara saya: memakai suara sendiri, atau membuat suara asli karakter dengan suara bawaan model open source seperti Kokoro, lalu mengkloningnya.

Pertanyaan umum

Apakah CosyVoice 3 boleh dipakai untuk keperluan komersial?

Boleh. Fun-CosyVoice3-0.5B-2512 memakai lisensi Apache-2.0 yang mengizinkan penggunaan komersial. Tetapi suara referensinya harus suara Anda sendiri, atau suara orang yang sudah memberi izin.

Apakah CosyVoice 3 mendukung bahasa Indonesia?

Per 21 November 2026, belum. Model ini mendukung 9 bahasa: Mandarin, Inggris, Jepang, Korea, Jerman, Spanyol, Prancis, Italia, dan Rusia. Anda bisa mengkloning suara sendiri lalu membuatnya membacakan teks dalam salah satu bahasa tersebut.

Bisakah kloning suara AI berjalan tanpa kartu grafis NVIDIA?

Bisa. Dengan CPU, satu dialog 8 detik butuh hampir dua menit; dengan GPU terintegrasi Intel (PyTorch XPU) sekitar 20 detik. Driver komputasi Intel dan PyTorch versi XPU perlu diinstal terlebih dahulu.

Apakah CosyVoice 3 melafalkan bahasa Mandarin dan Kanton dengan benar?

Sebagian besar benar. Kalau ada karakter Mandarin yang salah dibaca, tentukan pelafalannya dengan tanda pinyin seperti [h][áng]. Hasil bahasa Kanton juga baik jika dialog ditulis dengan gaya tulisan Kanton (嚟, 嘅, 啲). Sementara itu, Minnan, menurut pendengaran saya, tidak terdengar seperti Taiwanese Hokkien.

Apakah CosyVoice 3.5 open source?

Sampai 21 November 2026 belum. CosyVoice 3.5 hanya bisa dipakai lewat API Alibaba Cloud Model Studio, dan bobot modelnya tidak ada di Hugging Face.

Berapa panjang rekaman referensi untuk kloning suara AI?

5–10 detik sudah cukup. Rekaman harus dibuat di tempat tenang, hanya berisi satu orang yang berbicara, dan disertai transkrip yang sama persis. Makin panjang referensinya, makin lambat proses pembuatannya.

Penutup: rekaman 8 detik cukup untuk dubbing dengan suara sendiri

Dengan CosyVoice 3, untuk pertama kalinya saya merasa bahwa dubbing game atau video dengan suara sendiri benar-benar bisa dilakukan: rekam 8 detik, lalu serahkan semua dialog berikutnya ke model, bahkan dalam bahasa Inggris, Jepang, atau Kanton. Tidak punya kartu NVIDIA juga tidak masalah karena CPU pun bisa menjalankannya; kalau punya GPU terintegrasi Intel, bisa 5 kali lebih cepat lagi.

Kalau Anda juga sudah mencoba CosyVoice 3, atau ingin tahu hasil uji model lain, silakan tinggalkan komentar di Threads atau X.