🎤 語音處理 (Speech AI) 資源總整理 | ASR・TTS・聲紋・增強・分離

實戰選型建議

✅ 中文 ASR 冷啟動：一般場景 → FunASR + WhisperX；方言/短影音 → FireRedASR2S；邊緣離線 → parakeet.cpp / Moonshine；商用高併發 → MAI-Transcribe-1。

✅ 全雙工語音 Agent：選 LiveKit Agents（語義輪次偵測，500ms 重疊語音下召回率 100%）或 TEN Framework（自帶 VAD + 輪替偵測）；端對端延遲可穩定在 300ms 以內。

✅ TTS 零樣本克隆：中文首選 GPT-SoVITS（1 分鐘樣本）、CosyVoice 3（3 秒克隆）；即時對話選 Orpheus TTS（25ms 延遲）；輕量邊緣選 Kokoro / Supertonic v3（CPU 可跑）。

⚠️ 常見踩坑：中文公開語料（aishell / aidatatang）幾乎全是中國大陸口音，台灣口音辨識率會明顯偏低；想達到商用級別，訓練數據至少需要 1 萬小時以上。另，百度雲盤直接封鎖台灣 IP，下載中文數據集務必準備 VPN。

Q1：即時語音 AI 頻繁搶話怎麼解決？

棄用傳統音量 VAD，改用內建「語義輪次檢測」的 LiveKit Agents 框架，可精準區分真實打斷與咳嗽等噪音，解決 90% 搶話問題。

Q2：如何降低 Whisper 的顯存消耗並加速？

採用 WhisperX 或 Faster-Whisper 架構進行 INT8 量化，實測可減少 70% VRAM 佔用，並將轉寫速度提升 4 倍以上。

Q3：ASR、聲紋辨識、語音增強、語者分離有什麼差別？

ASR 解決「說了什麼」，聲紋解決「是誰說的」，語音增強解決「噪音清除」，語者分離解決「多人同時說話時如何拆開每個人的聲軌」。四者常搭配使用，但技術架構完全不同。

Q4：背景噪音大導致 ASR 錯誤怎麼辦？

在 ASR 前加入語音增強模組（如 Meta Denoiser 或 DCCRN）進行預處理，可提升 20% 以上的惡劣環境辨識率。亦可評估 SenseVoice（內建情感與噪音事件偵測）。

Q5：少量參考音檔能做到高精度聲音克隆嗎？

可以。使用 CosyVoice 3 或 Fish Audio S2-Pro 等零樣本模型，僅需 3～5 秒清晰參考音頻，即可生成 MOS 分數 >4.2 的高品質語音。

🎤

包含 ASR / TTS / 聲紋 / 增強 / 分離各主題深度技術解讀、GitHub 連結、資料集彙整與實戰踩坑筆記。

返回 AI 文章總覽聲紋辨識語音增強語者分離