CosyVoice 3の使い方:無料AIボイスクローン、CPUだけでも動く
たった8秒の録音で自分の声をAIでクローン。日本語も英語も話せて、GPUがなくてもCPUで動く無料ボイスクローンを、導入から生成まで試しました。

前回の記事「AI 読み上げを無料で商用利用」では、オープンソースの TTS(テキスト読み上げ)モデルをいくつか比べて、今後ひとつずつ詳しく紹介すると予告しました。今回取り上げるのは CosyVoice 3 です。8 秒の録音さえあれば、その人の声で新しい文章を話してくれます。広東語や四川語といった中国語の方言まで話せます。
私のノート PC には NVIDIA の GPU がありませんが、CPU だけでも動きます。1 文あたり 2 分ほどかかるので、セリフをまとめて用意し、バックグラウンドで時間をかけて生成する使い方に向いています。Intel の内蔵 GPU があれば、そちらで高速化でき、約 5 倍速くなります。この記事では、インストールの全手順とつまずいた点、そして私自身の声を使ったボイスクローンの実例をまとめました。
CosyVoice 3 とは?商用利用はできる?
CosyVoice は Alibaba がオープンソースで公開している音声生成モデルです(ソースコードの著作権表示は Alibaba Inc.)。現在公開されている最新版は、2025 年 12 月リリースの Fun-CosyVoice3-0.5B-2512 です。以下は Hugging Face のモデルページの情報で、確認日は 2026-11-21 です。
項目 | 内容 |
|---|---|
パラメータ数 | 0.5B(5 億) |
ライセンス | Apache-2.0、商用利用可 |
言語 | 中国語、英語、日本語、韓国語、ドイツ語、スペイン語、フランス語、イタリア語、ロシア語の 9 言語 |
中国語の方言 | 18 種類以上(広東語、閩南語、四川語、東北方言、上海語など) |
ボイスクローン | 参照音声を 1 本渡すだけでクローンでき、言語をまたいだクローンも可能(中国語の声で英語を話すなど) |
指示による制御 | 方言、話す速さ、音量、感情を一言で指定 |
公式の評価表では、CosyVoice 3 は中国語テストセットの文字誤り率(CER)が前世代の CosyVoice 2 より低く、話者類似度も高くなっています。
CosyVoice 3.5 はオープンソース?
いいえ。Alibaba は 2026 年 3 月に CosyVoice 3.5 を発表しましたが、今のところ Alibaba Cloud Model Studio の API からしか使えず、それも北京リージョン限定です。2026-11-21 時点で Hugging Face に 3.5 の重みはなく、GitHub ではissue でオープンソース化の予定を尋ねるユーザーもいますが、公式の回答はありません。ローカルで動かせて商用利用も認められているモデルが必要なら、今は 3.0 を使うことになります。
なお、CosyVoice の GitHub リポジトリは FunAudioLLM/CosyVoice から QwenAudio/CosyVoice に移転しました。旧 URL は自動でリダイレクトされます。
必要なスペック:NVIDIA の GPU がなくても動く?
動きます。ただし遅めです。私のノート PC は Intel Core Ultra 5 322(6 コア)で、グラフィックスは Panther Lake の内蔵 GPU で、単体 GPU はありません。長さが約 8 秒の同じ中国語のセリフで比べました。
実行環境 | 生成時間 | 処理時間の倍率(小さいほど速い) |
|---|---|---|
CPU(6 コア) | 115 秒 | 15.6 |
Intel 内蔵 GPU(PyTorch XPU) | 21.5 秒 | 2.5 |
これとは別に、モデルの読み込みに約 12 秒かかります。内蔵 GPU でセリフをまとめて生成する場合、モデルの読み込みは 1 回だけで、4~6 秒のセリフ 1 本がおよそ 15~30 秒で仕上がります。
公式のインストール手順は NVIDIA の GPU(CUDA)前提です。Intel の内蔵 GPU を使うにはいくつか追加の手順が必要なので、後半で説明します。
CosyVoice 3 のインストール手順(CPU 版)
私の環境は Linux(Arch)で、Python は uv で管理しています。
1. コードを取得する
mkdir -p ~/tools/cosyvoice && cd ~/tools/cosyvoice
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git repo--recursive は必ず付けてください。依存している Matcha-TTS がサブモジュールになっているからです。
2. 環境を作ってパッケージを入れる
公式の requirements.txt には CUDA 版の PyTorch、TensorRT、DeepSpeed が含まれています。私のノート PC には NVIDIA の GPU がないので、どれも使いません。実際に必要なパッケージだけを、CPU 版の PyTorch を指定して入れました。
uv venv --python 3.10 .venv
VIRTUAL_ENV=.venv uv pip install "setuptools<81" wheel
VIRTUAL_ENV=.venv uv pip install --no-build-isolation-package openai-whisper \
--index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/cpu \
"torch==2.3.1+cpu" "torchaudio==2.3.1+cpu" numpy==1.26.4 conformer==0.3.2 diffusers==0.29.0 \
hydra-core==1.3.2 HyperPyYAML==1.2.3 inflect==7.3.1 librosa==0.10.2 omegaconf==2.3.0 \
onnx==1.16.0 onnxruntime==1.18.0 openai-whisper==20231117 protobuf==4.25 pyworld==0.3.4 \
soundfile==0.12.1 transformers==4.51.3 x-transformers==2.11.24 wetext==0.0.4 modelscope==1.20.0 \
lightning==2.2.4 matplotlib==3.7.5 rich==13.7.1 pyarrow==18.1.0 networkx==3.1 \
wget==3.2 gdown==5.1.0 pydantic==2.7.0 huggingface_hubここでは 3 つの点でつまずきました。
openai-whisperのビルドに失敗する:インストーラーがpkg_resourcesを必要としますが、新しい setuptools ではもう削除されています。先にsetuptools<81を入れてから、隔離環境でビルドしないよう指定します(--no-build-isolation-package)。lightningとrichがないとモデルの読み込みに失敗する:モデルの設定ファイルがこの 2 つを使うので、一緒に入れておきます。no frontend is avaliableというメッセージ:テキスト正規化パッケージの wetext が ModelScope からデータをダウンロードしようとして、私の環境では拒否されました(403)。これがなくても生成はできますし、CosyVoice 3 自体で一般的な数字や記号を処理できます。後ほど実際に試しています。
3. モデルをダウンロードする(4 GB 節約できる)
モデルをすべてダウンロードすると約 9.8 GB ですが、今回の構成では使わないファイルがいくつかあるので、スキップできます。
from huggingface_hub import snapshot_download
snapshot_download("FunAudioLLM/Fun-CosyVoice3-0.5B-2512",
local_dir="models/Fun-CosyVoice3-0.5B",
ignore_patterns=["flow.decoder.estimator.fp32.onnx", # TensorRT 用
"speech_tokenizer_v3.batch.onnx", # バッチ推論用
"llm.rl.pt"]) # 強化学習版、デフォルトでは読み込まないダウンロード後のサイズは 5.1 GB です。
4. 最初の 1 文を生成する
CosyVoice 3 のプロンプトには決まった形式があり、先頭に You are a helpful assistant.<|endofprompt|> を付けます。公式の example.py をもとに書き直しました。
import sys
sys.path[:0] = ["repo", "repo/third_party/Matcha-TTS"]
import torch, torchaudio
from cosyvoice.cli.cosyvoice import AutoModel
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
SYS = "You are a helpful assistant.<|endofprompt|>"
# ボイスクローン:参照音声 + 参照音声の書き起こし
out = m.inference_zero_shot("読ませたいセリフ", SYS + "参照音声で話している内容", "ref.wav", stream=False)
wav = torch.cat([x["tts_speech"] for x in out], dim=1)
torchaudio.save("out.wav", wav, m.sample_rate)主な使い方は 3 つです。
関数 | 用途 |
|---|---|
| ボイスクローン。いちばん似る。参照音声の書き起こしが必要 |
| 書き起こし不要。中国語の声で英語を話すなど、言語をまたぐときに向いている |
| 方言、話す速さ、感情をひとことで指定。指示の書き方は下記 |
指示は "You are a helpful assistant. 请用广东话表达。<|endofprompt|>" のように書きます。先頭に同じ決まり文句、真ん中に指示、最後に <|endofprompt|> を付けます。
私はこれらを 1 つのコマンドにまとめて ~/tools/cosyvoice/ に置き、どのプロジェクトからでも直接呼び出せるようにしています。
応用:Intel 内蔵 GPU で 5 倍速くする(PyTorch XPU)
PyTorch で Intel の GPU を使うためのバックエンドは XPU と呼ばれます。CosyVoice が使う PyTorch 2.3.1 にはまだ XPU がないため、別の環境を作り、CPU 版の環境はそのまま残しました。
1. Intel のコンピュートランタイムを入れる
普通のデスクトップ環境には表示用のドライバーしか入っていません。PyTorch で GPU に計算させるには、Intel のコンピュートランタイム(Level Zero)も必要です。Arch Linux では、次のコマンドでインストールします。
sudo pacman -S intel-compute-runtime2. XPU 版 PyTorch を入れる
uv venv --python 3.10 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"True Intel(R) Graphics と表示されれば、内蔵 GPU が認識されています。私の環境に入ったのは PyTorch 2.14.1 でした。
続いて、前に挙げたパッケージをこの環境に入れます。その際 -c でバージョン制約ファイルを指定してください。ファイルには現在インストールされている torch のバージョンを書いておきます。こうしないと、ほかのパッケージを入れたときに torch が XPU 版でないものに置き換えられてしまいます。
3. 競合する triton を削除する
インストール後、import transformers が cannot import name 'make_tensordesc_args' というエラーで失敗しました。原因は、openai-whisper が古い triton を一緒に入れてしまい、XPU 版 PyTorch に必要な triton-xpu を上書きしたことです。古いほうを削除して、triton-xpu を入れ直せば解決します。
VIRTUAL_ENV=.venv-xpu uv pip uninstall triton
VIRTUAL_ENV=.venv-xpu uv pip install --reinstall-package triton-xpu \
--index-url https://download.pytorch.org/whl/xpu triton-xpu4. モデルを内蔵 GPU に移す
CosyVoice のコードは CUDA しか認識せず、NVIDIA の GPU がなければ自動で CPU を使います。公式のコードは書き換えず、いったん CPU で読み込んでから、主要な 3 つのネットワークを内蔵 GPU に移しました。
m = AutoModel(model_dir="models/Fun-CosyVoice3-0.5B")
dev = torch.device("xpu")
for name in ("llm", "flow", "hift"):
getattr(m.model, name).to(dev)
m.model.device = dev
m.frontend.device = devこれなら、あとで公式のコードを更新しても競合しません。内蔵 GPU での初回実行時はコンパイルが行われるので十数秒余計にかかりますが、2 回目以降は通常どおり動きます。
実験 1:自分の声でボイスクローンを試す
スマホで自分の声を 8 秒録音し、クローンの参照音声にしました。
お断り:この記事の音声サンプルはすべて筆者 Terry L 本人の声と、本人の声をクローンしたものです。無断転載・ダウンロード、ほかの場所での使用(クローンへの利用を含む)はご遠慮ください。
次の文は、私が一度も口にしたことのないセリフです。上の録音をもとに、CosyVoice 3 が日本語で生成しました。
生成された声は、自分でもかなり似ていると感じました。
言語をまたいだクローン:上の日本語も、もとは中国語の録音から作ったものです。同じ録音で英語も話せますし、広東語も話せます。
日本語、英語、広東語の音声は、別途音声認識(Whisper)で文字に起こして照合しました。どれも内容は正しく、余計な読み上げや読み飛ばしもありませんでした。
参照音声の録り方
- 長さは 5~10 秒で十分。20 秒の参照音声も試しましたが、生成時間が 2~3 倍になりました。
- 静かな場所で、話すのは 1 人だけ:BGM や雑音も一緒にクローンされます。
- 書き起こしを付ける:
inference_zero_shotを使う場合、書き起こしは録音内容と一字一句同じにします。内容がわからなければ、先に Whisper で文字起こしするか、inference_cross_lingualに切り替えます。 - 音量が小さすぎる場合は先に上げる:私のスマホ録音は平均音量が -31 dB しかなかったので、前後の無音をカットして音量を調整してからクローンに使いました。
口調や話す速さもクローンされる
CosyVoice 3 がクローンするのは声色だけではありません。話す速さ、口調、抑揚も参照音声の影響を受けます。inference_zero_shot では、参照音声と書き起こしが「直前に話した内容」として扱われ、モデルはその続きを話すため、同じ話し方が続くわけです。
実際に測ってみると、元の録音は 1 秒あたり約 4.3 字、クローンした中国語の文は 1 秒あたり約 4.4 字で、速さはかなり近いものでした。ただ、毎回ここまでそろうわけではありません。同じ文でも seed を変えると 1 秒あたり 3.6 字まで遅くなりましたし、アーサーのセリフは参照音声より少し速くなりました。大事なセリフは、何パターンか生成してから選ぶのがおすすめです。
具体的には、次のようにするとよいでしょう。
- 再現したい口調で録音する:怒ったセリフなら怒った口調の参照音声を、やさしくゆっくり話してほしいなら参照音声もゆっくり読みます。1 人のキャラクターに、普段の声、興奮した声、ささやき声など、複数の参照音声を用意しておくのも手です。
- 参照音声の欠点もコピーされる:早口すぎる、平坦すぎる、反響や雑音があると、クローンした音声にもそのまま反映されます。
- 微調整の方法は 3 つ:
speedパラメーターで速さを直接変える、inference_instruct2で「请用尽可能慢地语速说一句话。」(できるだけゆっくり話して)のような指示を出す、またはinference_cross_lingualに切り替える。
ソースコードを見ると、inference_cross_lingual は、リズムを決める言語モデルには参照音声を渡していません。参照音声は声色を決めるためだけに使われるので、録音のリズムをなぞりにくくなります。
実験 2:ロボットのバーテンダー、アーサーの声を作る
サイトのトップページは 3D の月面基地のミニゲームになっていて、宇宙飛行士を操作して基地を歩き回れます。基地にはバーがあり、バーテンダーはロボットのアーサーです。このキャラクターは映画『パッセンジャー』(Passengers、2016)に登場するアンドロイドのバーテンダー、アーサーへのオマージュで、いくつかのセリフも映画のセリフをもとに書き換えたものです。映画のアーサーを演じたのはマイケル・シーンですが、ここではあえて彼の声はまねていません。
この節でも、自分の声(同じ 8 秒の録音)でアーサーのセリフを読ませています。日本語のセリフは、すぐ下の「カタカナに変換」の項で聞けます。
読み間違いがあった場合は、セリフの中で直接直せます。中国語の多音字なら [h][áng] のようにピンインのタグを書き、英単語なら CMU 発音記号で読み方を指定できます。
私のテストでも一度、読み間違いがありました。後半の「息づかいと笑い声のタグ」で使ったセリフでは、最初に生成した音声で「尷」という字の読み間違いがありました。セリフの「尷」を [g][ān] に書き換えて生成し直したら、正しく読み上げられました。
日本語は先にカタカナに変換する
公式のサンプルにははっきり書かれています。日本語はカタカナに変換してから入力すること。両方試してみたところ、漢字とひらがなで入力すると、音声認識で文字に起こした結果が入力文と大きく異なり、読み間違いもありました。カタカナにしたら正しくなりました。
日本語の音声を作るときは、AI のコーディングアシスタントにセリフをカタカナに変換してもらってから CosyVoice に渡すと楽です。
実験 3:指示で方言、感情、話す速さをコントロール
inference_instruct2 では、一言で指示を出せます。公式のコードには対応している指示が並んでいて、17 種類の方言のほか、音量、話す速さ、感情、「ロボットっぽく」話すといった指示があります。
指示は簡体字の中国語でも英語でも書けます。公式の指示はほとんどが簡体字の中国語で、音量に関する 2 つの指示だけが英語です(「Please say a sentence as loudly as possible.」「Please say a sentence in a very soft voice.」)。
同じセリフで、「できるだけゆっくり」という指示を 3 通りの書き方で試しました。
指示 | セリフの長さ |
|---|---|
指示なし | 約 4~5 秒 |
簡体字「请用尽可能慢地语速说一句话。」 | 8.2 秒 |
英語「Please say a sentence as slowly as possible.」 | 8.5 秒 |
繁体字「請用盡可能慢地語速說一句話。」 | 5.3 秒 |
簡体字と英語ではどちらもはっきり遅くなり、繁体字ではほとんど効果がありませんでした。この英語の指示は公式のリストにはありませんが、効果がありました。中国語が書けなければ、英語で指示すれば大丈夫です。
以下はすべて私の声で、セリフは「歡迎來到月球基地的酒吧。今天想喝點什麼?」(月面基地のバーへようこそ。今日は何にしますか?)です。
広東語のセリフを、嚟、嘅、啲、咩といった広東語で使う文字で書くと、音声認識で文字に起こした結果が完全に正しくなりました。
CosyVoice は閩南語(ホッケン)を話せる?
公式の方言リストには閩南語(Minnan/Hokkien)があります。同じセリフに「请用闽南话表达。」と指示してみましたが、私には台湾語(Taiwanese Hokkien)にはまったく聞こえず、イントネーションも全体的に違っていました。
息づかいと笑い声のタグ
セリフには [breath](息つぎ)、<laughter>…</laughter>(笑いながら話す)、<strong>…</strong>(強調)といったタグを入れられます。
正直なところ、息つぎも笑い声もまったく聞き取れませんでした。少なくとも今回のテストでは、タグにはっきりした効果はなかったので、あまり期待しないほうがいいでしょう。
数字と時刻
前述のとおり、私の環境にはテキスト正規化パッケージが入っていません。数字と時刻を含むセリフで試しました。
「120 元」「8 折」(2 割引)「23:30」はどれも正しく読めました。テキスト正規化パッケージがなくても、CosyVoice 3 は一般的な数字や時刻を処理できます。
とはいえ、電話番号、バージョン番号、日付や時刻のように少し複雑な書き方は、先に文字で書いておくほうが安心です。中国語なら、時刻は「十一點半」(11 時半)のように書けます。
CosyVoice 3 とほかのオープンソース TTS の比較
前回の記事で紹介したモデルと比べると、CosyVoice 3 の特徴は次のとおりです。
- 中国語のクローン品質は Chatterbox の中国語版よりずっと高い:同じ参照音声、同じセリフで Chatterbox の中国語版とも比べました。不明瞭な発音や読み間違いが多く、品質はかなり低めでした。中国語の声をクローンしたいなら、Chatterbox を試す手間は省いてもよいと思います。
- ボイスクローンと指示による制御:CosyVoice 3 は一言で方言、感情、速さを指定できます。Kokoro は内蔵の声しか使えず、クローンはできません。
- 読み間違いはその字だけ直せばいい:ピンインのタグでその字だけ修正できるので、Qwen3-TTS のようにセリフ全体を簡体字に変換する必要はありません。
- 対応言語は少なめ:9 言語だけです。Chatterbox の多言語版は 23 言語に対応していますが、ベトナム語、インドネシア語、トルコ語などは CosyVoice 3 では使えません。
- Kokoro よりずっと遅い:Kokoro は CPU でも十数秒で 1 文を生成できます。CosyVoice 3 は内蔵 GPU を使ってようやく実用的になります。
他人の声をクローンしてもいい?
技術的には、きれいな録音さえあれば誰の声でもクローンでき、しかも仕上がりの質はかなり高いです。だからこそ、クローンするのは自分の声か、本人の同意を得た声だけにしてください。有名人の声はパブリシティ権などで保護されていますし、他人の声で本人が言っていないことを言わせれば、詐欺や名誉毀損にあたるおそれもあります。
CosyVoice 3 の Apache-2.0 ライセンスで商用利用が認められているのはモデルそのものであって、誰の声でも使っていいという意味ではありません。私は自分の声を使うか、Kokoro のようなオープンソースモデルの内蔵ボイスでキャラクターの声のもとになる音声を作り、それをクローンしています。
よくある質問
CosyVoice 3 は商用利用できる?
できます。Fun-CosyVoice3-0.5B-2512 は Apache-2.0 ライセンスなので商用利用が可能です。ただし、参照音声は自分の声か、本人の同意を得たものでなければいけません。
CosyVoice3 は日本語に対応している?
対応しています。公式がサポートする 9 言語に日本語が含まれます。ただし日本語はカタカナに変換してから入力しないと、読み間違いが出やすくなります。
自分の声の AI ボイスクローンは無料・ローカルでできる?
できます。CosyVoice 3 は無料のオープンソースで、自分の PC 上で動きます。私の場合、スマホで録った 8 秒の音声とその書き起こしだけで、自分の声にかなり近いクローンができました。
NVIDIA の GPU がなくてもボイスクローンを動かせる?
動かせます。CPU だと 8 秒のセリフ 1 本に 2 分近くかかり、Intel 内蔵 GPU(PyTorch XPU)なら約 20 秒です。先に Intel のコンピュートランタイムと XPU 版 PyTorch を入れておく必要があります。
CosyVoice 3.5 はオープンソース?
2026-11-21 時点ではまだです。CosyVoice 3.5 は Alibaba Cloud Model Studio の API からしか使えず、Hugging Face に重みは公開されていません。
音声クローンの参照音声はどれくらいの長さが必要?
5~10 秒で十分です。静かな場所で 1 人だけが話している録音にして、一字一句同じ書き起こしを付けてください。参照音声が長いほど、生成は遅くなります。
まとめ:8 秒の録音で自分の声のナレーションが作れる
CosyVoice 3 を使って初めて、自分の声でゲームや動画の音声を作ることが現実的に思えてきました。8 秒録音すれば、あとのセリフはモデルが読んでくれて、英語や日本語、広東語にも切り替えられます。NVIDIA の GPU がなくても CPU で動きますし、Intel の内蔵 GPU があればさらに 5 倍速くなります。
CosyVoice 3 を試してみた方や、ほかのモデルの検証を見たい方は、ぜひ Threads や X でコメントをお寄せください。
