法國 AI 研究機構 Kyutai Labs 發布最新文字轉語音 AI 模型 - Kyutai TTS，這是一個即時低延遲，並擁有 16 億參數的模型，包含多項創新。
Kyutai TTS 引領了文字轉語音領域的新潮流。 詞錯率(WER) 衡量的是 TTS 未能遵循腳本的頻率。 說話人相似度是語音複製時衡量產生的音訊與原始樣本的接近程度的指標。
Kyutai Labs 將 Kyutai TTS 與其他模型在 NTREX 的 15 篇英文新聞和 15 篇法文新聞上進行了比較。除 Kyutai TTS 和 ElevenLabs 外，所有模型都被要求逐句生成，因為我們觀察到這種方式效果最佳。
Kyutai TTS 無需提前了解整個文本，從接收第一個文本標記到生成第一個音頻區塊的延遲為 220 毫秒。在Unmute.sh部署中，我們使用批次功能同時處理最多 32 個請求，使用 L40S GPU 時觀察到延遲為 350 毫秒。
Kyutai STT 模型針對即時使用進行了最佳化，可以批量處理以提高效率，並返回單字級時間戳記。我們提供兩種模型：
- kyutai/stt-1b-en_fr，一個具有約 1B 個參數、0.5 秒延遲和語義 VAD 的英語和法語模型。
- kyutai/stt-2.6b-en，一個僅支援英語的模型，具有約 26 億個參數和 2.5 秒的延遲。
這些語音轉文字模型有幾個優點：
- 流式推理：模型可以分塊處理音頻，從而實現即時轉錄，非常適合互動式應用程式。
- 輕鬆批次處理以實現最高效率：H100 可以即時處理 400 個串流。
- 它們傳回單字級時間戳。
- 1B 模型具有語義語音活動偵測 (VAD) 元件，可用於偵測使用者何時說話。這對於建立語音代理尤其有用。
Picture Source:
kyutai.org