WorldCup Arena：LLM 直播預測實測

WorldCup Arena 用世界盃直播賽事，測六個前沿 LLM 在賽前做無洩漏預測的表現。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：4,494 筆評分預測
• 突破點：賽前即時評測

這篇論文不是在比誰會講球評，而是在測 LLM 到底能不能在答案還沒上網前，真的做出預測。研究團隊把評測搬到 2026 FIFA World Cup 的直播賽事上，讓模型在每場開踢前先交卷，直接避開傳統 forecasting benchmark 最常見的資料洩漏問題。

對開發者來說，這種設計很重要。因為它測到的不是「模型能不能查到答案」，而是「模型在有工具、能思考、能搜尋的情況下，是否真的有預測能力」。這也讓 WorldCup Arena 比一般回頭看結果的 benchmark 更接近真實部署情境。

這篇論文想修掉什麼痛點

傳統 LLM forecasting benchmark 最大的麻煩，是測試時答案早就存在網路上。就算研究者努力過濾，也很難完全排除模型記憶、搜尋或資料污染帶來的影響。結果看起來像預測，實際上可能只是回收已知資訊。

這篇論文的解法很直接：把評測放到賽事進行中，而且每場比賽都在開踢前提問。這樣一來，官方結果還沒出現，網路上也沒有正解可抄，洩漏問題不是事後清理，而是從流程上就被消掉。

作者評的不只是單一勝負題目。他們讓模型填寫每場比賽的七種預測欄位，外加 12 個分組第一，以及賽前整體奪冠預測。這樣的設計同時涵蓋局部問題與整體問題，也比較能看出模型在不同層級上的判斷方式。

方法到底怎麼跑

評測橫跨 2026 FIFA World Cup 的 39 天。六個前沿 LLM 在每場開踢前被逐一詢問。因為問題發出時比賽還沒開始，所以結果尚未存在，這讓整個 archive 可以說是「by construction」的無洩漏評測。

論文也明講，這些模型都啟用了 extended thinking 和 native server-side web search。這一點很關鍵，因為它測的不是裸模型，而是現在真實產品裡常見的工具型代理：會推理，也會上網。換句話說，這不是單純的文字生成測試，而是在看完整系統行為。

研究團隊最後把這批預測凍結起來，總共評分了 4,494 筆預測。摘要也提到，他們釋出了 briefing dossiers、fixtures、official results 和 scoring code。也就是說，這篇不只是報告結果，還把重現評測所需的材料一起公開成 benchmark。

• 每場比賽都在開踢前提問
• 每場含七種預測市場
• 外加 12 個分組第一與整體冠軍預測
• 凍結後共評分 4,494 筆預測

論文實際證明了什麼

第一個重點是，六個系統的行為很像。論文指出，它們在 match outcome 上平均是 63.9%，大致相當於押 bookmaker 的熱門方。這代表模型沒有明顯超車一個很直觀的基準，也提醒大家：前沿 LLM 不等於自動會成為更準的預測器。

第二個重點更有意思：模型彼此的答案常常比它們真的答對還一致。這表示如果你想靠多模型投票來提升預測，未必有效。當錯誤高度相關時，更多模型只是在重複同一個偏誤，不會自然變成更好的 ensemble。

論文也觀察到，模型對平局和進球數偏保守，比分選擇會集中到少數典型結果。白話講，就是它們不太願意把分布打開，常常往一個安全的中間值收斂。這種現象對 forecasting 很致命，因為真正難的不是猜一個最常見答案，而是把不確定性表達出來。

另外，準確率會隨著比賽是否一面倒而變動。越懸殊的對戰，模型越容易答對；越接近的比賽，表現就越差。這很值得注意，因為最難預測的場次，往往也是資料最豐富、賽前 dossier 最完整的場次。也就是說，更多上下文不保證更好的判斷。

相較之下，關於整個賽事的題目，模型表現比較好。這暗示它們更擅長處理總體結構，而不是細粒度的場次不確定性。對做摘要工具、事件總結工具的人來說，這是好消息；對做真預測的人來說，這是警訊。

對開發者有什麼影響

如果你在做 agent 或帶搜尋功能的 LLM，這篇論文在提醒一件事：有工具，不代表有 forecasting 能力。即使模型能 extended thinking、能 web search，它們最後還是可能收斂到相近的先驗，而且這些先驗往往太保守。

這也代表評測設計本身就是產品能力的一部分。回頭看結果的 benchmark 很容易被洩漏污染，分數高不一定代表真會預測。像 WorldCup Arena 這種 prospective、pre-kickoff 的設計，才比較能看出系統是不是在根據當下可得資訊推理，而不是從網路撈答案。

另一個實作上的啟發，是不要太快相信多模型投票。論文已經明確指出，這些 frontier models 彼此同意的程度高於它們答對的程度。對 ensemble、routing 或多代理協作設計來說，重點不是模型數量，而是模型之間有沒有真的不同。

限制與還沒回答的問題

這篇摘要有清楚講行為觀察，但沒有在我們看到的內容裡列出完整 per-model benchmark 表。除了 63.9% 和 4,494 筆評分預測之外，摘要沒有公開更多 benchmark 數字，所以如果你想比較每個模型的細節，得看全文或附錄。

另外，這個任務本身也很特化。世界盃是高訊號、時間有限、規則固定的 live event，很適合拿來做無洩漏評測，但不代表能直接外推到所有 forecasting 場景。也就是說，它很適合當方法論示範，不一定能直接當通用答案。

不過，這篇論文的價值就在這裡。它把問題定義得很乾淨：不是問模型事後能不能說對，而是問它事前能不能預測。對現在越來越多帶工具的 LLM 來說，這可能才是更值得量測的能力。

如果你在做模型評估、代理系統，或是任何需要處理不確定性的產品，WorldCup Arena 提供了一個很實際的方向：把測試搬到答案還不存在的時候。這樣量到的，才比較接近真正的預測能力。