2026 秋 · 發自寧靜基地
走進月球工作室 ↗
terryl.in月球基地日誌 — 一個人在月球工作室的開發筆記
AI 工具

Qwen3-TTS 教學:免費 AI 聲音克隆,Intel 內顯快 10 倍

8 秒錄音就能克隆聲音,Intel 內顯跑一句不到 20 秒,比 CPU 快 10 倍以上。實測 XPU 安裝、聲音克隆、內建聲音與繁體轉簡體。

月球基地的工作室裡,太空人坐在筆電前,筆電裡的晶片發出橘光,聲波飛向喇叭和拿著碼錶的小機器人
月球基地的工作室裡,太空人坐在筆電前,筆電裡的晶片發出橘光,聲波飛向喇叭和拿著碼錶的小機器人

這是開源 TTS(文字轉語音)系列的第三篇。我在〈免費 AI 配音可商用〉做了總覽,上一篇〈CosyVoice 3 教學〉介紹了只用 CPU 也能跑的聲音克隆。這篇輪到 Qwen3-TTS。

在總覽那篇,我用 CPU 跑 Qwen3-TTS 的聲音克隆,一句台詞要等 4 分鐘以上,當時的結論是「要克隆大量台詞,還是要有 NVIDIA 顯示卡」。這次我改用筆電的 Intel 內顯,同一句只要 16~18 秒,這次測得的速度快了 10 倍以上,而且不用修改套件原始碼。不過 CPU 測試時還開著其他程式,內顯測試時則沒有其他負載。這篇記錄 Intel 內顯(PyTorch XPU)的安裝步驟,也用我自己的聲音實際示範聲音克隆。

Qwen3-TTS 是什麼?可以商用嗎?

Qwen3-TTS 是阿里巴巴通義千問(Qwen)團隊在 2026 年 1 月 22 日開源的語音生成模型系列。以下資料來自 GitHub 與 Hugging Face 模型頁,查詢日期 2026-11-21:

項目

內容

授權

Apache-2.0,可以商用

大小

0.6B(6 億參數)和 1.7B(17 億參數)

語言

中文、英文、日文、韓文、德文、法文、俄文、葡萄牙文、西班牙文、義大利文,共 10 種

聲音克隆

官方說只要 3 秒的參考聲音

訓練資料

技術報告寫的是超過 500 萬小時、10 種語言的語音

安裝

pip install -U qwen-tts(我裝到的是 0.1.1)

三種模型:Base、CustomVoice、VoiceDesign

Qwen3-TTS 依用途分成三種,名稱裡的 12Hz 是它用的語音編碼器:

模型

用途

0.6B

1.7B

用指令控制語氣

Base

聲音克隆,也能拿來微調

有

有

不行

CustomVoice

9 種內建聲音

有

有

只有 1.7B 可以

VoiceDesign

用一段文字描述,設計出新的聲音

沒有

有

可以

這篇用的都是 0.6B。從 Hugging Face 下載,Base 和 CustomVoice 各約 2.4 GB。

9 種內建聲音

CustomVoice 的內建聲音(官方說明,我翻成中文):

名稱

聲音

母語

Vivian

明亮、帶點個性的年輕女聲

中文

Serena

溫暖、溫柔的年輕女聲

中文

Uncle_Fu

成熟男聲,低沉圓潤

中文

Dylan

年輕男聲,北京腔

中文(北京話)

Eric

成都的活潑男聲,聲音略帶沙啞

中文(四川話)

Ryan

節奏感強的男聲

英文

Aiden

陽光的美國男聲

英文

Ono_Anna

俏皮、輕快的女聲

日文

Sohee

溫暖、情感豐富的女聲

韓文

官方建議優先使用各個聲音的母語,效果最好;不過,每個聲音都能念 10 種語言。

電腦需求:沒有 NVIDIA 顯示卡能跑嗎?

可以。官方的範例都寫 device_map="cuda:0",搭配 bfloat16 和 FlashAttention 2,GitHub 和模型頁都沒有提到 CPU 或 Intel 顯示晶片。實際上 CPU 和 Intel 內顯都跑得動。

我的筆電是 Intel Core Ultra 5 322(6 核心),顯示晶片是 Panther Lake 內顯,沒有獨立顯示卡。用 0.6B 克隆我自己的聲音,念同一句約 6 秒的中文台詞(簡體輸入):

用什麼跑

生成時間

耗時倍率(越小越快)

CPU(6 核心)

約 270 秒

約 42

Intel 內顯(PyTorch XPU)

16~18 秒

2.7~3.0

Intel 內顯,改用 bfloat16

約 12 秒

約 2.2

耗時倍率是生成時間除以音檔長度,例如 3.0 就是 1 秒的聲音要花 3 秒生成。

CPU 我量了兩次,分別是 272 秒和 402 秒,量的時候電腦上還開著其他程式,所以數字差很多,但不管哪一次都要 4 分半以上。內顯是在電腦沒有其他負載時量的,同一句連續生成 3 次:第一次要先編譯,約 20 秒,之後是 16~18 秒。

另外,載入模型約 6~10 秒。內建聲音(CustomVoice)在內顯上的速度也差不多:一句約 8 秒的台詞,生成約 18~20 秒。

跟上一篇的 CosyVoice 3 比,同樣是聲音克隆,Qwen3-TTS 在內顯上約快 2 倍。我用同一段錄音、同樣兩句台詞對照:Qwen3-TTS 一句 16~28 秒,CosyVoice 3 要 29~61 秒。(CosyVoice 3 那篇寫的耗時倍率 2.5,是不給逐字稿的跨語言模式,比附逐字稿的克隆快。)CPU 上的差距更大:CosyVoice 3 用 CPU 克隆一句約兩分鐘,Qwen3-TTS 要 4 分半以上。用 Qwen3-TTS 做聲音克隆,內顯幾乎是必要的。

Qwen3-TTS 安裝教學(CPU 版)

我的環境是 Linux(Arch),Python 用 uv 管理。官方建議用 Python 3.12 的全新環境。

mkdir -p ~/tools/qwen3-tts && cd ~/tools/qwen3-tts
uv venv --python 3.12 .venv
VIRTUAL_ENV=.venv uv pip install --index-url https://download.pytorch.org/whl/cpu torch torchaudio
VIRTUAL_ENV=.venv uv pip install qwen-tts soundfile

先從 PyTorch 的 CPU 專用來源裝 torch,否則 Linux 上預設會下載包含 CUDA 的版本,多佔好幾 GB。

官方另外建議裝 FlashAttention 2 加速,但它是選裝的,而且要搭配相容的顯示卡,CPU 和 Intel 內顯都用不到,可以跳過。

生成第一句

import torch, soundfile as sf
from qwen_tts import Qwen3TTSModel

# 聲音克隆:Base 模型 + 參考聲音 + 參考聲音的逐字稿
m = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-0.6B-Base",
                                  device_map="cpu", dtype=torch.float32)
wavs, sr = m.generate_voice_clone(text="要念的台詞", language="Chinese",
                                  ref_audio="ref.wav", ref_text="參考聲音念的內容")
sf.write("out.wav", wavs[0], sr)

第一次執行會自動從 Hugging Face 下載模型。內建聲音改用 CustomVoice 模型:

m = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice",
                                  device_map="cpu", dtype=torch.float32)
wavs, sr = m.generate_custom_voice(text="要念的台詞", speaker="Uncle_Fu", language="Chinese")

language 可以寫 Chinese、English、Japanese 這類語言名稱,或用 Auto 讓它自己判斷。

Intel 內顯加速教學(PyTorch XPU)

這是這篇的重點。PyTorch 支援 Intel 顯示晶片的後端叫 XPU,從官方來源就能裝到現成的 XPU 版,不用自己編譯。

根據 PyTorch 官方的 XPU 說明,支援的 Intel 顯示晶片包括 Arc A/B 系列獨立顯示卡,以及 Core Ultra 的內顯:Meteor Lake、Arrow Lake、Lunar Lake 和 Panther Lake。官方列的系統是 Windows 11 和 Ubuntu(Panther Lake 要 Ubuntu 26.04)。我用的是 Arch Linux,沒在清單上,照樣跑得起來。

我另外建一個內顯專用的環境,CPU 版的環境保留不動。

1. 安裝 Intel 的運算驅動

一般桌面系統只裝了顯示用的驅動。要讓 PyTorch 用顯示晶片做運算,還要裝 Intel 的運算驅動(Level Zero)。Arch Linux:

sudo pacman -S intel-compute-runtime

2. 安裝 XPU 版 PyTorch

cd ~/tools/qwen3-tts
uv venv --python 3.12 .venv-xpu
VIRTUAL_ENV=.venv-xpu uv pip install --index-url https://download.pytorch.org/whl/xpu torch torchaudio
.venv-xpu/bin/python -c "import torch; print(torch.xpu.is_available(), torch.xpu.get_device_name(0))"

印出 True Intel(R) Graphics 就代表抓到內顯了。我裝到的是 PyTorch 2.15.0。

3. 鎖住 torch 版本,再裝 qwen-tts

接下來裝 qwen-tts 時,它會順便檢查 torch。如果讓套件管理工具自己挑,可能會把剛裝好的 XPU 版換成一般版本。所以我先寫一個限制檔,把版本鎖住:

cat > xpu-constraints.txt <<'EOF'
torch==2.15.0+xpu
torchaudio==2.11.1+xpu
EOF

VIRTUAL_ENV=.venv-xpu uv pip install -c xpu-constraints.txt \
  --index-strategy unsafe-best-match --extra-index-url https://download.pytorch.org/whl/xpu \
  qwen-tts soundfile

版本號換成你實際裝到的版本(可以用 uv pip list 查)。--index-strategy unsafe-best-match 讓 uv 可以同時從 PyPI 和 PyTorch 的 XPU 來源挑套件。

上一篇 CosyVoice 3 在這一步遇到 triton 衝突:openai-whisper 會順便裝舊版的 triton,蓋掉 XPU 需要的 triton-xpu。Qwen3-TTS 用不到 openai-whisper,這次就沒有遇到。如果你看到 cannot import name 'make_tensordesc_args' 的錯誤,處理方式可以參考上一篇。

4. 把 device_map 改成 xpu

這是跟 CosyVoice 3 最不一樣的地方。CosyVoice 的程式只認 CUDA,我得先在 CPU 載入,再手動把模型搬到內顯。Qwen3-TTS 用的是 Hugging Face transformers 的載入方式,直接把 device_map 改成 "xpu" 就好,不用修改套件原始碼:

m = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-0.6B-Base",
                                  device_map="xpu", dtype=torch.float32)

dtype 是模型計算用的數字精度。float32 是 32 位元浮點數,精度高,但比較慢、比較吃記憶體;bfloat16 只用 16 位元,速度快、省記憶體,精度比較低。官方範例用的是 dtype=torch.bfloat16。

我平常用 float32,也試了 bfloat16:同一句從 16~18 秒縮短到約 12 秒,用語音辨識(Whisper)轉回文字後,內容也正確。不過兩次生成的音檔長度不同(bfloat16 是 5.3 秒,float32 是 6.0 秒),比較速度時也要留意這個差異。

我比對了兩個版本,音質差異很小,要仔細聽才分辨得出來。因此,用 Intel 內顯跑時,建議直接用 bfloat16,這次測試每句可以再省約三成時間。

第一次在內顯上生成,要先編譯運算程式,會比較慢;同一個程式後面再生成就正常了。所以要生成一批台詞時,模型只載入一次,一句一句接著念,不要每句都重新啟動程式。

我把 CPU 和內顯兩種用法包成一個指令,放在 ~/tools/qwen3-tts/,每個專案都能直接呼叫。加上 --device xpu,就會改用內顯的環境。

實測一:用我自己的聲音示範聲音克隆

參考錄音跟上一篇一樣,是我用手機錄的 8 秒聲音。

聲明:本節的示範音檔都是作者 Terry L 本人的聲音,以及用本人聲音克隆的結果。版權所有,請勿下載、轉載,或用在其他地方(包括拿去克隆)。
我本人的原始錄音(8 秒):「歡迎大家來到我的月球基地。我的文章記錄我對於各種工具的測試,希望對您有幫助。」版權所有,請勿用在其他地方

下面兩句我從來沒有念過,是 Qwen3-TTS 0.6B 在 Intel 內顯上,用上面那段錄音和它的逐字稿克隆出來的。台詞和逐字稿都先轉成簡體再送進去(原因見實測二):

克隆我的聲音:「這句話是 Qwen3-TTS 用我錄的八秒鐘聲音克隆出來的。我本人從來沒有念過這句話。」版權所有,請勿用在其他地方
克隆我的聲音:「這段聲音是在我筆電的 Intel 內顯上生成的,沒有用到 NVIDIA 顯示卡。」版權所有,請勿用在其他地方

第二句比較難念,台詞裡有「Intel」「NVIDIA」「內顯」「顯示卡」,中英文混在一起。我連續生成 3 個版本,前兩個不是把「顯示卡」念錯,就是把「NVIDIA」念得含糊,第三個才完全正確。用 Qwen3-TTS 念這種台詞時,記得多生成幾個版本再挑。

我覺得生成的中文語音很像我自己的聲音。

跨語言克隆:同一段中文錄音,也能拿來念英文和日文:

克隆我的聲音念英文:「This sentence was generated by Qwen3-TTS from an eight-second clip of my voice. I never actually said it.」版權所有,請勿用在其他地方
克隆我的聲音念日文:「この声は、私の8秒の録音から作られました。」版權所有,請勿用在其他地方

日文那句我用語音辨識(Whisper)轉回文字比對,內容完全正確。英文那句除了「Qwen3-TTS」這個名字被轉成別的字,其他內容都正確,沒有多念或漏字。

不過內容對,不代表好聽。英文那句我自己聽起來很卡,一頓一頓的,不太自然。同一段錄音拿去念英文,上一篇的 CosyVoice 3 明顯流暢很多。要用自己的聲音念其他語言,跨語言能力 CosyVoice 3 勝出。

實測二:繁體中文要先轉簡體

在總覽那篇我就發現:台詞用繁體輸入,Qwen3-TTS 會把多音字念錯。這次用我自己的聲音再測一次。網站首頁的 3D 月球基地裡有間酒吧,酒保是向電影《星際過客》(Passengers,2016)致敬的機器人亞瑟,下面是他的台詞:

克隆我的聲音,繁體輸入:「酒保是替人保守秘密的。這是這份行業的神聖信用。」版權所有,請勿用在其他地方
同一句轉成簡體輸入:「酒保是替人保守秘密的。这是这份行业的神圣信用。」版權所有,請勿用在其他地方

我自己聽,繁體版把「行業」念成了「商議」,簡體版就正確念成 háng。

轉簡體不用自己動手,Python 的 OpenCC 套件一行就能轉:

from opencc import OpenCC
t2s = OpenCC("t2s").convert
text = t2s("這是這份行業的神聖信用")  # 这是这份行业的神圣信用

我的做法是台詞照樣用繁體寫,送進 Qwen3-TTS 之前自動轉成簡體,參考錄音的逐字稿也一起轉。念出來還是同一句話。

這一點 CosyVoice 3 比較方便:它直接用繁體輸入大多都念對,只有個別字要改。

實測三:9 種內建聲音(CustomVoice)

不想克隆,或還沒有角色的參考聲音時,可以直接用內建聲音。下面都用 0.6B 的 CustomVoice 在內顯上生成,台詞是「歡迎來到月球基地的酒吧。今天想喝點什麼?」(轉成簡體輸入):

內建聲音 Uncle_Fu
內建聲音 Vivian
內建聲音 Serena
內建聲音 Dylan(北京話)
內建聲音 Eric(四川話)

英文的內建聲音 Aiden,台詞是「Welcome to the bar on the lunar base. What can I get you tonight?」:

內建聲音 Aiden(英文)

Eric 一開口就聽得出四川腔,想讓角色帶一點地方口音,可以直接用它。

0.6B 的 CustomVoice 不能用指令控制語氣,想要「用生氣的語氣說」這類控制,要改用 1.7B。

Qwen3-TTS 和 CosyVoice 3 怎麼選?

兩個都是阿里巴巴開源、Apache-2.0 授權、可以商用的模型。我在同一台筆電上都測過:

項目

Qwen3-TTS 0.6B

CosyVoice 3(0.5B)

授權

Apache-2.0

Apache-2.0

語言

10 種

9 種(沒有葡萄牙文)

方言

內建聲音有北京話、四川話

18 種以上,用指令切換

繁體中文

要先轉簡體

大多可以直接輸入

用指令控制語氣

0.6B 不行(1.7B 的 CustomVoice、VoiceDesign 可以,Base 不行)

可以(方言、語速、情緒)

用 Intel 內顯

device_map 改成 "xpu" 就好

要手動把模型搬到內顯

內顯克隆一句(同樣台詞)

16~28 秒(bfloat16 更快)

29~61 秒

CPU 克隆一句

4 分半以上

約 2 分鐘

跨語言克隆(中文錄音念英文)

聽起來很卡

流暢很多

簡單說:

  • 有 Intel 內顯、要速度快、想直接用內建聲音:Qwen3-TTS,設定最簡單,克隆也比較快。
  • 要用自己的聲音念英文等其他語言:CosyVoice 3,跨語言克隆流暢很多。
  • 台詞以繁體中文為主、要方言或情緒指令:CosyVoice 3,大多可以直接輸入繁體,還能用一句話指定廣東話、四川話、語速和情緒。
  • 只有 CPU:CosyVoice 3 克隆一句約兩分鐘,Qwen3-TTS 克隆要 4 分半以上,只有 CPU 的話 CosyVoice 3 比較實用。

可以克隆別人的聲音嗎?

技術上可以,只要一段乾淨的錄音。但 只克隆自己的聲音,或已經取得對方同意的聲音。Apache-2.0 授權允許商用的是模型本身,不代表你可以使用任何人的聲音。名人的聲音受人格權保護;用別人的聲音說他沒說過的話,也可能涉及詐騙或誹謗。

常見問題

Qwen3-TTS 可以商用嗎?

可以。Qwen3-TTS 的模型和語音編碼器都採用 Apache-2.0 授權。但參考聲音必須是你自己的,或已經取得對方同意。

沒有 NVIDIA 顯示卡可以跑 Qwen3-TTS 嗎?

可以。0.6B 用 CPU 就能跑,但聲音克隆一句要好幾分鐘。有 Intel Core Ultra 內顯或 Arc 顯示卡的話,裝 XPU 版 PyTorch,把 device_map 改成 "xpu",我的筆電克隆一句 6 秒的台詞約 16~18 秒,比 CPU 快 10 倍以上。

Qwen3-TTS 支援繁體中文嗎?

可以輸入繁體,但我實測會把「行業」這類多音字念錯。先用 OpenCC 把台詞轉成簡體再送進去,就念對了。

Qwen3-TTS 會說廣東話、台語嗎?

官方支援的 10 種語言裡沒有廣東話和台語,內建聲音的方言只有北京話(Dylan)和四川話(Eric)。要廣東話可以考慮 CosyVoice 3,它的方言指令有廣東話。

Qwen3-TTS 0.6B 和 1.7B 差在哪?

1.7B 多了 VoiceDesign(用文字描述設計聲音),CustomVoice 也能用指令控制語氣;0.6B 只有聲音克隆和內建聲音。兩種大小都支援 10 種語言。

聲音克隆的參考錄音要多長?

官方說 3 秒就能克隆。我用的是 8 秒的錄音,並附上一字不差的逐字稿。錄音要安靜、只有一個人說話。

結語:Intel 內顯也能做聲音克隆

在總覽那篇,我以為沒有 NVIDIA 顯示卡就別想用 Qwen3-TTS 克隆聲音。換到 Intel 內顯之後,同一句從 4 分半以上變成 16~18 秒,而且只改了 device_map 一個參數。如果你的筆電是 Core Ultra,很值得試試看。

如果你也試了 Qwen3-TTS,或用 Intel 內顯跑過其他 AI 模型,歡迎到 Threads 或 X 留言。