TTS 評測不只看自然度

以前 TTS 評測只看自然度，現在這篇研究把錯誤拆成 10 個維度，證明自動評測會漏掉不少語言層級問題。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：860 句語音
• 突破點：10 維語言標註

這篇論文在講一件很直接的事：TTS 評測不能只問「聽起來像不像真人」。如果只看自然度，很多真正影響可用性的錯誤會被蓋掉，像是發音、韻律，或其他帶有語言結構的失誤。

作者不是只在批評舊方法，而是做了一個更細的檢驗框架，去看自動評測到底能不能抓到人耳會注意到的問題。重點不在把分數做得更高，而在確認分數有沒有量到對的東西。

這篇論文想解什麼痛點

自動 TTS 評測一直很依賴 MOS predictor，或是最近常見的 Audio-LLM judge。這類工具的好處是快，能省掉大量人工聽測，但它們通常把複雜的語音品質壓成一個總分。

問題是，人類聽感本來就不是單一維度。聽者不只會判斷自然不自然，也會注意到哪些地方怪、哪裡不順、哪個語言細節出錯。這篇研究就是把這個差異攤開來看。

作者把這個問題定義成 meta-evaluation。也就是說，不只是評 TTS 模型，而是評「評測器」本身。這個角度很重要，因為如果評測器本身看錯方向，後面所有模型比較都可能偏掉。

方法怎麼做

這篇研究先把原本模糊的「自然度」拆成一個有 10 個維度的語言學標註架構。白話一點，就是把語音品質拆成更細的檢查清單，讓受過訓練的語言學標註者能一致地標出不同類型的問題。

接著，作者建立了一個 dimension-level 的 TTS meta-evaluation benchmark。這個 benchmark 收錄 860 句語音，並由 trained linguist raters 做標註。這讓研究可以更精準地問：不同自動評測器，到底能不能抓到不同類型的錯誤？

然後他們拿 4 個 MOS predictors 和 4 個 Audio-LLM judges 來對照這些標註。這不是在比誰總分最高，而是在看這些工具對各個維度的敏感度。對開發者來說，這比單一排行榜更有意義，因為你可以知道工具到底在量什麼。

摘要裡沒有公開完整 benchmark 數字，也沒有逐項分數表，所以這篇原始資料不能直接告訴我們每個方法的精確排名。不過，從摘要能確定的是：不同評測器對不同錯誤類型的反應差很多，而且 prompt 的設計會影響 Audio-LLM judge 的判斷。

研究結果說了什麼

最明確的結果是，MOS predictors 主要會收斂到 acoustic signal quality。也就是說，它們比較像廣義的聲音品質偵測器，而不是細緻的語音錯誤偵測器。如果你只想知道「整體聽起來順不順」，這可能夠用；但如果你要知道是哪一種語言層級出問題，這就不夠。

Audio-LLM judges 的表現則是另一種樣子。它們可以對某些問題比較敏感，但這種敏感度是 prompt-dependent 的。換句話說，提示詞怎麼寫，會影響模型注意到什麼。這代表它不是穩定地看見所有問題，而是只在特定問法下抓到部分錯誤。

所以這篇論文的核心結論很清楚：不管是 MOS predictor 還是 Audio-LLM judge，都無法可靠涵蓋各種 linguistically grounded speech errors。這不是說它們沒用，而是說它們的覆蓋範圍比很多人以為的窄。

作者也把資料集、標註架構和評測程式公開。這點很實際。因為未來如果有人要做新的 TTS evaluator，就可以拿這套 benchmark 來測，看新方法是不是比舊方法更懂人耳在意的那些維度。

對開發者有什麼影響

如果你在做 TTS，這篇研究最直接的提醒是：不要把單一 MOS 分數當成全貌。模型可能在總分上看起來更好，但其實只是把聲音磨得更平滑，真正的語言錯誤還在。

這會影響很多工程決策。像是模型迭代、A/B 比較、品質門檻設定，甚至是你到底要不要把某個版本推上線。若評測器只會抓表面的自然度，你可能會誤判模型已經夠好，實際上使用者還是會遇到問題。

這篇也提醒一件事：Audio-LLM judge 不是人類聽測的無痛替代品。prompt 會改變結果，所以不能把某一個固定 prompt 當成永遠通用的品質檢查器。對團隊來說，這代表評測流程本身也要被當成工程對象來設計。

更實務一點的做法，是把評測拆到 failure mode 層級。不要只問總分有沒有上升，而是問：是發音錯了？韻律不對？還是評測器本身根本看不出來？這種問法更接近真實產品問題。

這篇研究的限制

先說最明顯的一點：摘要沒有公開完整 benchmark 數字，所以我們無法從這份原始資料得知每個方法的精確表現差距。能確定的是方向，不是完整分數表。

另外，摘要也沒有在這份資料裡完整展開 10 個維度的定義。也就是說，讀者還不能只靠摘要就判斷這個標註架構到底有多細、覆蓋範圍有多廣。

還有一個限制是資料規模。860 句語音已經足以做出一個有結構的 meta-evaluation benchmark，但它仍然只是起點。摘要沒有提供更廣泛的語言、音色或合成風格覆蓋，因此還不能把結果直接外推成所有 TTS 場景的最終答案。

即便如此，這篇論文的價值還是很明確：它把 TTS 評測從「聽起來自然不自然」拉回到「到底哪一種錯誤被量到了」。對做語音產品的人來說，這種可檢視性本身就很重要。

最後可以怎麼看

這篇研究不是在說自然度不重要，而是在說自然度太粗了。只看這一項，會讓很多語言層級的失誤被誤當成沒問題。

如果你是開發者，這篇最值得帶走的不是某個分數，而是評測觀念的改變。TTS 品質不是單一指標能講完的。越接近真實使用情境，越需要能對應具體錯誤的評測方式。

而這也是這篇論文真正的貢獻：它提供了一個更細的尺，讓大家開始問對問題，而不是只看一個漂亮但可能失真的總分。

• 自然度不是完整的 TTS 品質指標。
• MOS predictor 和 Audio-LLM judge 會漏掉不同類型的錯誤。
• 10 維標註架構讓評測更接近人耳實際在意的問題。