Mùa thu 2026 · Gửi từ Căn cứ Tĩnh Lặng
Ghé studio trên Mặt Trăng ↗
terryl.inNhật ký căn cứ Mặt Trăng — ghi chép phát triển từ Mặt Trăng
Công cụ AI

CosyVoice 3: nhân bản giọng nói AI miễn phí, chạy trên CPU

Nhân bản giọng nói AI từ 8 giây ghi âm, đọc cả ngôn ngữ khác. Chạy trên CPU, không cần card đồ họa: cài đặt, nhân bản giọng và dùng lệnh.

Trong phòng thu của căn cứ mặt trăng, một phi hành gia nói vào micro, ba làn sóng âm nhiều màu lan về phía robot pha chế, loa và laptop
Trong phòng thu của căn cứ mặt trăng, một phi hành gia nói vào micro, ba làn sóng âm nhiều màu lan về phía robot pha chế, loa và laptop

Trong bài trước, AI lồng tiếng Anh miễn phí: TTS mã nguồn mở Kokoro, Chatterbox, mình đã so sánh vài mô hình TTS (chuyển văn bản thành giọng nói) mã nguồn mở và hứa sẽ viết chi tiết về từng mô hình. Bài này nói về CosyVoice 3: chỉ cần một đoạn ghi âm 8 giây, nó có thể dùng giọng của người đó đọc những câu hoàn toàn mới, thậm chí bằng một ngôn ngữ khác với ngôn ngữ trong bản ghi.

Laptop của mình không có card NVIDIA, nhưng chỉ dùng CPU vẫn chạy được. Mỗi câu mất khoảng hai phút, nên phù hợp khi chuẩn bị sẵn hàng loạt câu thoại rồi để mô hình chạy nền. Nếu máy bạn có GPU tích hợp của Intel, bạn có thể dùng nó để tăng tốc, nhanh hơn khoảng 5 lần. Bài này ghi lại toàn bộ quá trình cài đặt, những lỗi mình gặp phải và cách mình dùng chính giọng của mình để thử nhân bản giọng nói AI.

CosyVoice 3 là gì? Có dùng cho mục đích thương mại được không?

CosyVoice là mô hình tạo giọng nói mã nguồn mở của Alibaba (bản quyền mã nguồn ghi Alibaba Inc.). Phiên bản mã nguồn mở mới nhất là Fun-CosyVoice3-0.5B-2512, phát hành tháng 12/2025. Thông tin dưới đây lấy từ trang mô hình trên Hugging Face, tra cứu ngày 21/11/2026:

Hạng mục

Chi tiết

Số tham số

0.5B (500 triệu)

Giấy phép

Apache-2.0, được dùng cho mục đích thương mại

Ngôn ngữ

Tiếng Trung, Anh, Nhật, Hàn, Đức, Tây Ban Nha, Pháp, Ý, Nga, tổng cộng 9 thứ tiếng

Phương ngữ tiếng Trung

Hơn 18 loại, ví dụ tiếng Quảng Đông, tiếng Mân Nam, tiếng Tứ Xuyên, tiếng Đông Bắc, tiếng Thượng Hải

Nhân bản giọng nói

Chỉ cần một đoạn ghi âm mẫu là có thể nhân bản giọng nói, kể cả xuyên ngôn ngữ (dùng giọng thu bằng tiếng Trung để đọc tiếng Anh)

Điều khiển bằng lệnh

Một câu lệnh để chỉ định phương ngữ, tốc độ, âm lượng, cảm xúc

Tiếng Việt không có trong danh sách này. Tính đến ngày 21/11/2026, CosyVoice 3 vẫn chưa nói được tiếng Việt, chỉ hỗ trợ 9 ngôn ngữ ở bảng trên. Dù vậy, bạn vẫn có thể clone giọng nói của mình rồi cho nó đọc tiếng Anh, tiếng Trung hoặc các ngôn ngữ được hỗ trợ khác.

Theo bảng đánh giá chính thức, CosyVoice 3 có tỷ lệ lỗi ký tự (CER) trên bộ kiểm thử tiếng Trung thấp hơn thế hệ trước CosyVoice 2, và giọng tạo ra cũng giống giọng mẫu hơn.

CosyVoice 3.5 có mã nguồn mở không?

Không. Alibaba công bố CosyVoice 3.5 vào tháng 3/2026, nhưng hiện chỉ dùng được qua API của Alibaba Cloud Model Studio, và chỉ khả dụng ở khu vực Bắc Kinh. Tính đến 21/11/2026, Hugging Face chưa có trọng số của bản 3.5. Trên GitHub cũng có người dùng mở issue hỏi khi nào mở mã nguồn, nhưng nhóm phát triển chưa trả lời. Nếu muốn chạy trên máy mình và cần giấy phép thương mại, hiện tại hãy dùng bản 3.0.

Một điểm nữa: kho mã GitHub của CosyVoice đã chuyển từ FunAudioLLM/CosyVoice sang QwenAudio/CosyVoice, địa chỉ cũ sẽ tự chuyển hướng.

Cấu hình máy: không có card NVIDIA có chạy được không?

Được, chỉ là chậm hơn. Laptop của mình dùng Intel Core Ultra 5 322 (6 nhân), GPU tích hợp Panther Lake, không có card rời. Cùng một câu thoại tiếng Trung dài khoảng 8 giây:

Chạy bằng

Thời gian tạo

Hệ số thời gian thực (càng nhỏ càng nhanh)

CPU (6 nhân)

115 giây

15.6

GPU tích hợp Intel (PyTorch XPU)

21.5 giây

2.5

Ngoài ra, nạp mô hình mất khoảng 12 giây. Khi dùng GPU tích hợp để tạo cả loạt câu thoại, mô hình chỉ cần nạp một lần, mỗi câu dài 4–6 giây mất khoảng 15–30 giây.

Cách cài đặt chính thức được thiết kế cho card NVIDIA (CUDA). Muốn dùng GPU tích hợp Intel thì cần thêm vài bước, mình sẽ nói ở phần sau.

Hướng dẫn cài đặt CosyVoice 3 (bản CPU)

Môi trường của mình là Linux (Arch), quản lý Python bằng uv.

1. Tải mã nguồn

mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repo

Nhất định phải thêm --recursive, vì Matcha-TTS mà nó dùng là một submodule.

2. Tạo môi trường, cài các gói

File requirements.txt chính thức có PyTorch bản CUDA, TensorRT và DeepSpeed; laptop không có card NVIDIA thì không cần các gói này. Mình chỉ cài những gói thật sự cần và chỉ định PyTorch bản CPU:

uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
  --index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
  "torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
  hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
  onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
  soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
  lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
  wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hub

Ở bước này, mình gặp ba lỗi:

  • Không biên dịch được openai-whisper: trình cài đặt của nó cần pkg_resources, mà setuptools bản mới đã bỏ. Hãy cài setuptools<81 trước, rồi biên dịch gói này ngoài môi trường cô lập (--no-build-isolation-package).
  • Thiếu lightning, rich thì nạp mô hình thất bại: file cấu hình của mô hình dùng hai gói này, nên phải cài kèm.
  • Thông báo no frontend is avaliable: gói chuẩn hóa văn bản wetext phải tải dữ liệu từ ModelScope, nhưng yêu cầu từ máy mình bị từ chối (403). Thiếu nó vẫn tạo giọng được, bản thân CosyVoice 3 cũng xử lý được số và ký hiệu thông thường, phần sau có thử thực tế.

3. Tải mô hình (tiết kiệm được 4 GB)

Tải đầy đủ thì mô hình nặng khoảng 9.8 GB, nhưng lần cài này có vài file không dùng tới, có thể bỏ qua:

from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
    local_dir="models/Fun-CosyVoice3-0.5B",
    ignore_patterns=["flow.decoder.estimator.fp32.onnx",   # Dành cho TensorRT
                     "speech_tokenizer_v3.batch.onnx",      # Dành cho suy luận theo lô
                     "llm.rl.pt"])                          # Bản học tăng cường, mặc định không nạp

Ba file bị bỏ qua lần lượt là file dành cho TensorRT, file cho suy luận theo lô, và bản học tăng cường (mặc định không nạp). Tải xong còn 5.1 GB.

4. Tạo câu đầu tiên

Prompt của CosyVoice 3 có định dạng cố định: phía trước phải có You are a helpful assistant.<|endofprompt|>. Dưới đây là đoạn mã viết lại dựa trên example.py chính thức:

import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"

# Nhân bản giọng nói: file âm thanh mẫu + bản chép lời của file mẫu
out = m.inference_zero_shot("Câu thoại cần đọc", SYS + "Nội dung được đọc trong file âm thanh mẫu", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)

Trong ví dụ này, tham số thứ nhất là câu cần đọc, thứ hai là bản chép lời của file giọng mẫu, thứ ba là file giọng mẫu.

Ba hàm chính:

Hàm

Công dụng

inference_zero_shot(text, SYS+transcript, ref_audio)

Nhân bản giọng nói, cho kết quả giống giọng mẫu nhất. Cần bản chép lời của file giọng mẫu

inference_cross_lingual(SYS+text, ref_audio)

Không cần bản chép lời, hợp để clone xuyên ngôn ngữ, ví dụ giọng tiếng Trung đọc tiếng Anh

inference_instruct2(text, instruction, ref_audio)

Một câu lệnh chỉ định phương ngữ, tốc độ, cảm xúc. Định dạng lệnh xem bên dưới

Lệnh phải viết theo dạng "You are a helpful assistant. 请用广东话表达。<|endofprompt|>": phần đầu vẫn là câu mở đầu cố định, ở giữa là lệnh, cuối cùng nối thêm <|endofprompt|>.

Mình gói tất cả lại thành một lệnh, đặt trong ~/tools/cosyvoice/, dự án nào cũng gọi trực tiếp được.

Nâng cao: tăng tốc 5 lần bằng GPU tích hợp Intel (PyTorch XPU)

Backend của PyTorch dành cho GPU Intel có tên là XPU. CosyVoice dùng PyTorch 2.3.1, bản này chưa có XPU, nên mình tạo một môi trường riêng và giữ nguyên môi trường CPU.

1. Cài driver tính toán của Intel

Máy tính để bàn thông thường chỉ cài driver hiển thị. Muốn PyTorch dùng GPU để tính toán thì phải cài thêm driver tính toán của Intel (Level Zero). Trên Arch Linux:

sudo pacman -S intel-compute-runtime

2. Cài PyTorch bản XPU

uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"

In ra True Intel(R) Graphics là đã nhận GPU tích hợp. Bản mình cài được là PyTorch 2.14.1.

Tiếp theo, cài các gói ở trên vào môi trường này và thêm -c để chỉ định file ràng buộc phiên bản. Trong file này phải ghi rõ phiên bản torch đã cài, tránh việc torch bị thay bằng bản không phải XPU khi cài các gói khác.

3. Gỡ triton bị xung đột

Cài xong thì import transformers thất bại, báo lỗi cannot import name 'make_tensordesc_args'. Nguyên nhân là openai-whisper cài kèm triton bản cũ, đè lên triton-xpu mà PyTorch bản XPU cần. Gỡ bản cũ, cài lại triton-xpu là xong:

VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
  --index-url https://download.pytorch.org/whl/xpu triton-xpu

4. Chuyển mô hình sang GPU tích hợp

Mã của CosyVoice chỉ nhận diện CUDA: không có card NVIDIA là tự động dùng CPU. Mình không sửa mã chính thức, mà nạp mô hình trên CPU trước, rồi chuyển ba mạng chính sang GPU tích hợp:

m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
    getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = dev

Làm vậy thì sau này cập nhật mã chính thức cũng không bị xung đột. Lần đầu chạy trên GPU tích hợp phải biên dịch trước, mất thêm hơn chục giây, sau đó chạy bình thường.

Thử nghiệm 1: clone giọng nói của chính mình

Mình dùng điện thoại thu một đoạn giọng 8 giây làm mẫu để clone. Đoạn ghi âm này bằng tiếng Trung.

Lưu ý: tất cả file âm thanh mẫu trong bài là giọng thật của tác giả Terry L, hoặc kết quả clone từ giọng của chính tác giả. Bản quyền thuộc về tác giả, vui lòng không tải xuống, đăng lại hoặc sử dụng ở nơi khác (kể cả đem đi clone).
Bản ghi âm gốc của mình (8 giây): 「歡迎大家來到我的月球基地。我的文章記錄我對於各種工具的測試,希望對您有幫助。」 (Chào mừng mọi người đến với căn cứ mặt trăng của mình. Các bài viết của mình ghi lại những lần thử nghiệm đủ loại công cụ, mong là có ích cho bạn.) Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác

Vì tính đến ngày 21/11/2026 CosyVoice 3 chưa nói được tiếng Việt, ví dụ dưới đây dùng tiếng Anh, một trong 9 ngôn ngữ được hỗ trợ. Bạn cũng có thể làm y như vậy để giọng clone của mình đọc tiếng Anh, tiếng Trung hoặc các ngôn ngữ được hỗ trợ khác.

Mình chưa từng đọc câu dưới đây; CosyVoice 3 đã tạo ra câu này từ đoạn ghi âm tiếng Trung ở trên:

Giọng clone của mình đọc tiếng Anh: "This sentence was generated by CosyVoice 3 from an eight-second clip of my voice. I never actually said it." (Câu này được CosyVoice 3 tạo ra từ một đoạn ghi âm 8 giây giọng của mình. Mình thật ra chưa từng nói câu này.) Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác

Mình thấy giọng được tạo ra rất giống giọng thật của mình.

Clone giọng nói xuyên ngôn ngữ: đoạn tiếng Anh ở trên vốn đã là clone xuyên ngôn ngữ, vì giọng mẫu của mình là tiếng Trung. Từ cùng đoạn ghi âm tiếng Trung đó, mô hình còn có thể tạo giọng đọc tiếng Nhật hoặc nói tiếng Quảng Đông:

Giọng clone của mình đọc tiếng Nhật (nhập bằng katakana): 「この声は、私の8秒の録音から作られました。」 (Giọng nói này được tạo từ đoạn ghi âm 8 giây của mình.) Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác
Giọng clone của mình nói tiếng Quảng Đông: 「歡迎嚟到我嘅月球基地部落格。」 (Chào mừng đến với blog căn cứ mặt trăng của mình.) Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác

Mình dùng công cụ nhận dạng giọng nói (Whisper) chuyển các đoạn tiếng Anh, tiếng Nhật và tiếng Quảng Đông thành văn bản để đối chiếu. Nội dung đều đúng, không đọc thừa hay thiếu chữ nào.

Thu giọng mẫu thế nào?

  • 5–10 giây là đủ. Mình từng thử giọng mẫu 20 giây, thời gian tạo tăng lên gấp 2–3 lần.
  • Yên tĩnh, chỉ một người nói: nhạc nền và tạp âm cũng sẽ bị clone theo.
  • Kèm bản chép lời: khi dùng inference_zero_shot, bản chép lời phải khớp từng chữ với đoạn ghi âm. Nếu không biết nội dung, có thể dùng Whisper chuyển thành văn bản trước, hoặc đổi sang inference_cross_lingual.
  • Bản ghi quá nhỏ thì tăng âm lượng trước: bản ghi bằng điện thoại của mình có âm lượng trung bình chỉ -31 dB, nên mình cắt khoảng lặng ở đầu và cuối, chỉnh âm lượng rồi mới đem đi clone.

Ngữ điệu và tốc độ cũng bị clone

CosyVoice 3 không chỉ clone âm sắc, mà tốc độ, ngữ điệu và sự lên xuống của giọng cũng được sao chép từ giọng mẫu. Khi dùng inference_zero_shot, giọng mẫu và bản chép lời được xem như "những lời vừa nói trước đó", mô hình nói tiếp từ đó, nên sẽ giữ cùng một cách nói.

Khi thử, bản ghi gốc của mình đọc khoảng 4.3 chữ Hán mỗi giây, còn câu tiếng Trung clone ra từ nó khoảng 4.4 chữ mỗi giây, tốc độ rất sát. Nhưng kết quả không phải lúc nào cũng như vậy: cùng câu đó, đổi seed thì tốc độ giảm còn 3.6 chữ mỗi giây; câu thoại của Arthur clone ra thì nhanh hơn giọng mẫu một chút. Vì vậy, với những câu thoại quan trọng, nên tạo vài phiên bản rồi chọn.

Điều này có nghĩa là:

  • Muốn ngữ điệu nào thì thu ngữ điệu đó: câu thoại giận dữ thì thu một đoạn mẫu giận dữ; muốn dịu dàng, chậm rãi thì đọc mẫu chậm rãi. Với mỗi nhân vật, có thể chuẩn bị nhiều đoạn mẫu, ví dụ mỗi kiểu một đoạn: bình thường, kích động, thì thầm.
  • Khuyết điểm của giọng mẫu cũng bị sao chép: đọc quá nhanh, quá đều đều, hoặc có tiếng vang, tạp âm thì kết quả clone cũng vậy.
  • Có ba cách để tinh chỉnh: dùng tham số speed để chỉnh nhanh chậm trực tiếp; dùng inference_instruct2 ra lệnh, ví dụ 「请用尽可能慢地语速说一句话。」 (hãy nói với tốc độ chậm nhất có thể); hoặc đổi sang inference_cross_lingual.

Xem mã nguồn sẽ thấy inference_cross_lingual không đưa giọng mẫu cho mô hình ngôn ngữ (phần quyết định nhịp điệu), giọng mẫu chỉ dùng để quyết định âm sắc, nên ít bám theo nhịp của bản ghi hơn.

Thử nghiệm 2: lồng tiếng cho robot pha chế Arthur

Trang chủ của website là một trò chơi 3D nhỏ: một căn cứ mặt trăng nơi bạn điều khiển phi hành gia đi lại, và trong căn cứ có một quán bar với robot pha chế tên Arthur. Nhân vật này là lời tri ân dành cho Arthur, người máy pha chế trong phim Passengers (2016), và vài câu thoại cũng được viết lại từ phim. Trong phim, Arthur do Michael Sheen thủ vai; ở đây mình cố ý không bắt chước giọng của ông.

Phần này mình tiếp tục dùng giọng của mình (cùng đoạn ghi âm 8 giây) để đọc thoại của Arthur:

Xuyên ngôn ngữ: dùng bản ghi tiếng Trung của mình đọc tiếng Anh "A bartender keeps confidence. It's the sacred trust of the craft." (Người pha chế luôn giữ kín bí mật. Đó là niềm tin thiêng liêng của nghề.) Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác

Nếu mô hình đọc sai, bạn có thể chỉ định cách đọc ngay trong câu thoại: với chữ Hán đa âm thì viết pinyin kiểu [h][áng], với từ tiếng Anh thì dùng phiên âm CMU. Mình thực sự gặp một lần: trong câu thoại ở phần “Thẻ tiếng thở và tiếng cười” bên dưới, lần đầu chữ 「尷」 bị đọc sai. Sửa chữ đó thành [g][ān] rồi tạo lại thì đọc đúng.

Tiếng Nhật phải chuyển sang katakana trước

Ví dụ chính thức ghi chú rõ: tiếng Nhật phải chuyển sang katakana rồi mới nhập. Mình thử cả hai cách: nhập bằng kanji và hiragana thì bản chép lời bằng công cụ nhận dạng giọng nói có khá nhiều lỗi, có từ bị đọc sai; đổi sang katakana thì đúng.

Nhập tiếng Nhật trực tiếp: 「バーテンダーは秘密を守るものです。それがこの仕事の神聖な信頼です。」 Bản chép lời bằng công cụ nhận dạng giọng nói sai vài từ. Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác
Cùng câu đó nhập bằng katakana: 「バーテンダー ワ ヒミツ オ マモル モノ デス……」 Bản chép lời bằng công cụ nhận dạng giọng nói hoàn toàn chính xác. Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác

Khi lồng tiếng Nhật, bạn có thể nhờ trợ lý lập trình AI chuyển câu thoại sang katakana trước, rồi mới đưa cho CosyVoice.

Thử nghiệm 3: điều khiển phương ngữ, cảm xúc và tốc độ bằng lệnh

inference_instruct2 cho phép ra lệnh bằng một câu. Mã chính thức liệt kê các lệnh được hỗ trợ, gồm 17 phương ngữ, cùng các lệnh về âm lượng, tốc độ, cảm xúc và nói "theo kiểu robot".

Lệnh viết bằng tiếng Trung giản thể hoặc tiếng Anh đều được; không biết tiếng Trung thì cứ dùng lệnh tiếng Anh. Phần lớn lệnh trong danh sách chính thức là tiếng Trung giản thể, còn hai lệnh về âm lượng là tiếng Anh ("Please say a sentence as loudly as possible." và "Please say a sentence in a very soft voice.").

Mình thử lệnh "chậm nhất có thể" với cùng một câu thoại, với ba cách viết khác nhau:

Lệnh

Độ dài câu thoại

Không ra lệnh

Khoảng 4–5 giây

Giản thể 「请用尽可能慢地语速说一句话。」

8.2 giây

Tiếng Anh "Please say a sentence as slowly as possible."

8.5 giây

Phồn thể 「請用盡可能慢地語速說一句話。」

5.3 giây

Giản thể và tiếng Anh đều chậm lại rõ rệt, còn phồn thể gần như không có tác dụng. Lệnh tiếng Anh không nằm trong danh sách chính thức nhưng vẫn hiệu quả, nên nếu không viết được tiếng Trung giản thể, cứ ra lệnh bằng tiếng Anh.

Tất cả đoạn dưới đây đều dùng giọng của mình, câu thoại là 「歡迎來到月球基地的酒吧。今天想喝點什麼?」 (Chào mừng đến quán bar của căn cứ mặt trăng. Hôm nay bạn muốn uống gì?):

Lệnh 「你可以尝试用机器人的方式解答吗?」 (bạn thử trả lời theo kiểu robot được không?): phong cách robot, rất hợp với Arthur. Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác
Lệnh 「请非常开心地说一句话。」 (hãy nói thật vui vẻ). Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác
Lệnh 「请用尽可能慢地语速说一句话。」 (hãy nói chậm nhất có thể): cùng câu đó kéo dài thành 8 giây. Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác
Lệnh 「请用广东话表达。」 (hãy nói bằng tiếng Quảng Đông), câu thoại viết theo lối viết tiếng Quảng Đông: 「歡迎嚟到月球基地嘅酒吧。今日想飲啲咩?」 Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác
Lệnh 「请用四川话表达。」 (hãy nói bằng tiếng Tứ Xuyên). Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác

Câu thoại tiếng Quảng Đông phải viết theo lối viết tiếng Quảng Đông (嚟, 嘅, 啲, 咩) thì bản chép lời bằng công cụ nhận dạng giọng nói mới hoàn toàn chính xác.

Còn tiếng Mân Nam (Hokkien)?

Danh sách phương ngữ chính thức có tiếng Mân Nam (Minnan/Hokkien). Mình thử với lệnh 「请用闽南话表达。」, nhưng nghe không giống Taiwanese Hokkien chút nào, ngữ điệu cũng sai hết.

Lệnh 「请用闽南话表达。」 (hãy nói bằng tiếng Mân Nam), câu thoại: 「歡迎來到月球基地的酒吧。今天想喝點什麼?」 Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác

Thẻ tiếng thở và tiếng cười

Trong câu thoại có thể thêm các thẻ như [breath] (lấy hơi), <laughter>…</laughter> (vừa cười vừa nói), <strong>…</strong> (nhấn mạnh):

「如果我不擦杯子,[breath]我就非得找話聊不可。<laughter>那樣一來,客人都會覺得很[g][ān]尬。</laughter>」 (Nếu tôi không lau ly, tôi sẽ buộc phải bắt chuyện. Như thế thì khách nào cũng thấy ngại.) Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác

Nói thật, mình hoàn toàn không nghe ra tiếng lấy hơi hay tiếng cười. Ít nhất trong lần thử này, các thẻ đó không có tác dụng rõ ràng, đừng kỳ vọng quá nhiều.

Số và giờ

Như đã nói, môi trường của mình thiếu gói chuẩn hóa văn bản. Mình thử một câu có số và giờ:

「一杯特調 120 元,第 2 杯打 8 折,營業到 23:30。」 (Một ly pha chế đặc biệt giá 120, ly thứ hai giảm 20%, mở cửa đến 23:30.) Bản quyền thuộc về tác giả, vui lòng không sử dụng ở nơi khác

Mô hình đều đọc đúng 「120 元」, 「8 折」 và 「23:30」. Dù thiếu gói chuẩn hóa văn bản, CosyVoice 3 vẫn xử lý được số và giờ thông thường.

Nhưng gặp cách viết phức tạp hơn, như số điện thoại, số phiên bản, ngày tháng hay giờ giấc, viết thành chữ vẫn an toàn hơn. Chẳng hạn, giờ có thể viết là "mười một giờ rưỡi".

So sánh CosyVoice 3 với các TTS mã nguồn mở khác

So với các mô hình ở bài trước, CosyVoice 3 có những điểm đáng chú ý:

  • Chất lượng clone tiếng Trung tốt hơn hẳn bản tiếng Trung của Chatterbox: mình dùng cùng giọng mẫu, cùng câu thoại để đối chiếu với Chatterbox bản tiếng Trung. Nó đọc nhiều chữ không rõ, đọc sai, chất lượng rất kém; muốn clone giọng tiếng Trung thì có thể bỏ qua Chatterbox luôn, khỏi mất công thử.
  • Nhân bản giọng nói kèm điều khiển bằng lệnh: CosyVoice 3 chỉ cần một câu để chỉ định phương ngữ, cảm xúc và tốc độ; Kokoro chỉ dùng được giọng có sẵn, không clone được.
  • Ít ngôn ngữ hơn: chỉ 9 thứ tiếng. Chatterbox bản đa ngôn ngữ hỗ trợ 23 thứ tiếng; những ngôn ngữ như tiếng Việt, tiếng Indonesia, tiếng Thổ Nhĩ Kỳ thì CosyVoice 3 đều không hỗ trợ.
  • Chậm hơn Kokoro nhiều: Kokoro chạy CPU chỉ mất hơn chục giây cho một câu; CosyVoice 3 phải dùng GPU tích hợp mới thật sự dùng được.

Có clone giọng người khác được không?

Về mặt kỹ thuật, chỉ cần một đoạn ghi âm không có tạp âm là có thể clone giọng của bất kỳ ai, với kết quả rất tốt. Chính vì thế, chỉ clone giọng của chính bạn, hoặc giọng của người đã đồng ý. Giọng nói của người nổi tiếng được bảo vệ bởi quyền nhân thân; dùng giọng người khác để nói những điều họ chưa từng nói còn có thể dính đến lừa đảo hoặc phỉ báng.

Giấy phép Apache-2.0 của CosyVoice 3 cho phép thương mại hóa bản thân mô hình, không có nghĩa là bạn được dùng giọng của bất kỳ ai. Cách mình làm: dùng giọng của chính mình, hoặc dùng giọng có sẵn của mô hình mã nguồn mở như Kokoro để tạo giọng gốc cho nhân vật, rồi mới clone.

Câu hỏi thường gặp

CosyVoice 3 có dùng cho mục đích thương mại được không?

Được. Fun-CosyVoice3-0.5B-2512 dùng giấy phép Apache-2.0, cho phép sử dụng cho mục đích thương mại. Nhưng giọng mẫu phải là giọng của bạn, hoặc của người đã đồng ý.

CosyVoice 3 có hỗ trợ tiếng Việt không?

Tính đến ngày 21/11/2026 thì chưa. Nó hỗ trợ 9 ngôn ngữ: tiếng Trung, Anh, Nhật, Hàn, Đức, Tây Ban Nha, Pháp, Ý, Nga. Bạn có thể clone giọng của mình rồi cho nó đọc một trong các ngôn ngữ này.

Có thể nhân bản giọng nói AI khi không có card NVIDIA không?

Được. Chạy bằng CPU thì một câu thoại 8 giây mất gần hai phút; đổi sang GPU tích hợp Intel (PyTorch XPU) thì mất khoảng 20 giây. Cần cài driver tính toán của Intel và PyTorch bản XPU trước.

CosyVoice 3 đọc tiếng Trung, tiếng Quảng Đông có chuẩn không?

Phần lớn là đúng. Chữ Hán nào bị đọc sai thì có thể chỉ định cách đọc bằng pinyin kiểu [h][áng]. Tiếng Quảng Đông hoạt động tốt nếu câu thoại viết theo lối viết tiếng Quảng Đông (嚟, 嘅, 啲). Riêng tiếng Mân Nam thì mình nghe không giống Taiwanese Hokkien.

CosyVoice 3.5 có mã nguồn mở không?

Tính đến 21/11/2026 thì chưa. CosyVoice 3.5 chỉ dùng được qua API của Alibaba Cloud Model Studio, Hugging Face không có trọng số của nó.

Clone giọng nói cần ghi âm mẫu dài bao nhiêu?

5–10 giây là đủ. Bản ghi phải được thu ở nơi yên tĩnh, chỉ có một người nói và kèm bản chép lời khớp từng chữ. Đoạn ghi âm mẫu càng dài thì thời gian tạo giọng càng lâu.

Kết luận: 8 giây ghi âm đã đủ để lồng tiếng bằng giọng của chính bạn

CosyVoice 3 lần đầu tiên khiến mình thấy việc tự lồng tiếng cho game hay video bằng giọng của chính mình là khả thi: thu 8 giây, sau đó giao hết câu thoại cho mô hình đọc, còn đổi được sang tiếng Anh, tiếng Nhật hoặc tiếng Quảng Đông. Không có card NVIDIA cũng không sao, CPU vẫn chạy được; có GPU tích hợp Intel thì còn nhanh thêm 5 lần.

Nếu bạn cũng đã thử CosyVoice 3, hoặc muốn xem mình thử nghiệm các mô hình khác, hãy để lại bình luận trên Threads hoặc X.