OmniGameArena 讓 VLM 遊戲代理更好比

OmniGameArena 用 12 個 UE5 遊戲與反思式評分，讓 VLM 遊戲代理不只看首輪分數，也能看改善與泛化。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：12 個 Unreal Engine 5 遊戲
• 突破點：統一介面＋反思曲線

這篇論文想解的問題很直接：現有的遊戲型 VLM 代理評測，常常只看第一次出手的分數，卻沒辦法看出模型是不是會透過反思、修正提示詞，慢慢變強。對開發者來說，這種只看一次的分數很容易失真，因為實際系統往往不是「答完就結束」，而是會重試、會改寫策略、也會用工具。

OmniGameArena 就是要把這些動態行為拉進評測裡。它不是單一遊戲的排行榜，而是一個以 Unreal Engine 5 為基礎的即時 benchmark，目標是讓不同類型的 VLM 代理能在同一套框架下比較。

這篇論文在補哪個洞

作者先指出，現有 game benchmark 對 VLM 代理的評估太窄。很多方法只報告「第一次嘗試」的分數，而且主要聚焦在 Solo 模式。這樣做的問題是，測到的常常只是模型當下的表現，不是它在互動過程中的改善能力。

另一個更麻煩的點，是不同代理之間很難公平比較。商用 VLM、開源權重 VLM、專門為遊戲設計的政策模型，可能各自有不同的操作介面與動作定義。當 benchmark 本身沒有統一標準，排行榜就很難拿來做工程判斷。

OmniGameArena 想補的，就是這個「比較基準不一致」的洞。它把重點放在統一環境、統一互動方式，讓 heterogeneous 的 VLM agents 能放在同一個尺上量。

OmniGameArena 具體做了什麼

這個 benchmark 一共包含 12 個新建的 UE5 遊戲，並分成三種互動情境：Solo、PvP、Coop。摘要裡也給了分布細節：7 個 Solo、3 個 PvP、2 個 Coop。

這個組合有意義。Solo 主要看代理能不能自己完成任務；PvP 會引入對抗；Coop 則把協作與配合拉進來。換句話說，這不只是測「會不會操作」，而是測代理在不同互動壓力下的行為。

論文也強調 unified action interfaces。白話一點，就是盡量把不同代理接入遊戲時的操作方式標準化，避免某些模型因為 wrapper 比較順手、或控制介面比較吃香，而在分數上佔便宜。

對 benchmark 來說，這一步很關鍵。因為如果介面不統一，最後比的可能不是模型能力，而是接線工程做得好不好。

方法核心：IDC 是怎麼看改善的

這篇論文的另一個重點，是 Improvement Dynamics Curve，簡稱 IDC。它被描述成一種 agentic-reflection harness，也就是讓一個會用工具的 reflector LLM，自主去反覆修正一個 bounded skill prompt。

它不是只問「第一次拿幾分」，而是問「如果讓系統反思幾輪，表現怎麼變」。這種設計把評測從靜態截圖，變成動態曲線。對互動式 AI 來說，這更接近真實使用情境。

IDC 還會看第二個訊號：學到的技能在 held-out task variants 上會怎麼表現。也就是說，它不只看模型有沒有在原任務上變好，還要看這個改善能不能轉移到沒直接訓練過的變體。

這點很實用。因為很多系統可以靠反覆調 prompt 把分數往上推，但那種進步未必是真的泛化。若只看原任務，很容易誤以為模型已經學會；加上 held-out variants，才比較能看出是不是只是對 benchmark 表面特徵做 prompt chasing。

這篇摘要公開了哪些結果

摘要說，作者對 12 個 VLM agents 做了 cold-start leaderboard 的觀測，也對 4 個表現較好的代理套用 IDC。也就是說，這篇同時涵蓋了初始表現與反思後的動態變化。

但摘要沒有公開完整 benchmark 數字。它沒有列出各模型的實際分數、排名、提升幅度，也沒有給出可直接對照的數值表。就摘要能確認的，是評測範圍與方法框架，而不是具體 leaderboard 結果。

所以如果你是想從摘要直接抓「哪個模型贏了多少」，這份資料不夠。這篇論文真正公開在摘要裡的，是它怎麼測，而不是每個模型的最終成績。

不過，從研究設計來看，這本身就是它的主要貢獻。OmniGameArena 不是再做一個靜態榜單，而是把「反思後的改善」和「對未見變體的延續性」一起拉進評估框架。

對開發者代表什麼

如果你在做 VLM 代理，這篇的訊號很清楚：只看 first attempt 的分數，可能不夠。真實系統常常會反覆修正、會用工具、會調整提示詞。你最後要上線的，往往不是一次性回答能力，而是多輪改善能力。

OmniGameArena 也提醒一件事：當你要比較不同類型的代理時，介面一致性很重要。商用模型、開源模型、專用政策模型，若沒有統一 action interface，benchmark 的公正性就會被接入方式影響。

這對團隊選型也有幫助。當你在評估要用哪一類模型當互動任務的底座時，像這種同場比較的 benchmark，會比單一遊戲、單一模式的分數更有參考價值。

更重要的是，IDC 這種設計把「改善過程」納入評估。這代表你不只要看模型能不能答對，還要看它能不能在多輪反思後持續提升，而且這種提升能不能轉到相似任務上。

限制與還沒回答的問題

摘要雖然把方向講得很清楚，但細節還是有限。它沒有公開完整 benchmark 數字，所以我們無法從摘要判斷這 12 個遊戲到底有多難，也無法知道反思機制帶來多大提升。

另外，摘要也沒有把 12 個遊戲的內容完整展開，只知道它們分成 Solo、PvP、Coop 三種設定。對實作方來說，真正重要的介面細節、動作空間、以及 held-out variants 怎麼設計，摘要都沒有交代。

IDC 的 reflector LLM 也只被描述成會自主修正 bounded skill prompt，但摘要沒有說它的提示詞怎麼寫、約束條件是什麼、每一輪反思的成本是多少。這些都會影響 benchmark 的可重現性與實務可用性。

所以，這篇摘要能讓我們確定的是方向：它想把動態改善納入遊戲代理評測。至於這個框架是否容易整合、是否穩定、是否真的比傳統評測更能反映實際能力，還得看全文細節。

結語

OmniGameArena 的重點，不是再做一個單純的遊戲排行榜，而是把 UE5、統一介面、以及反思式改善曲線放進同一套評測流程。它想回答的問題很實際：VLM 代理到底只是第一次碰巧做對，還是真的會學、會改、會泛化。

對台灣開發者來說，這篇值得注意的地方在於，它把互動式 AI 的評估方式往前推了一步。未來如果你在做遊戲代理、互動助理、或任何需要多輪修正的系統，這種「看改善動態」的思路，可能會比單次分數更接近真實需求。

• OmniGameArena 用 12 個 UE5 遊戲建立統一 benchmark。
• 它加入 IDC，追蹤反思後的改善與 held-out 變體表現。
• 它想讓商用、開源與專用 VLM 代理能用同一把尺比較。