Android Bench 更新，Gemini 掉到第五

Google 更新 Android Bench 後，Gemini 3.1 Pro 掉到第五名，OpenAI 與 Anthropic 的模型排在前面。

Google 這次把 Android Bench 重新整理了一次。結果很直接，Gemini 沒站上前段班。這份榜單新增 8 個模型後，競爭味道更濃，也更難替自家模型找台階下。

這份測試看的是 Android 開發任務。Google 說它涵蓋 100 個 Android development tasks。對做軟體的人來說，這種榜單比聊天評分更接近實戰，因為它碰到的是修 bug、改程式、跑流程這些真工作。

榜單一拉寬，Gemini 的落差就更明顯

Google 今年 3 月第一次推出 Android Bench 時，自己的模型就沒有站在最前面。這次更新後，落差更清楚，因為榜單加入更多現役 agent。像 Claude Sonnet 5、Claude Opus 4.8、GPT 5.4、GPT 5.5 都進來了。

另外還有 MiniMax、Qwen、Kimi、GLM。這種做法很重要，因為只放少數模型的榜單很容易失真。模型一多，大家的真實差距就藏不住。

結果也很乾脆。第一名是 Claude Fable 5，準確率 84.5%。Gemini 3.1 Pro 則掉到第五。這對 Google 來說不太好看，因為 Android 本來就是它最熟的地盤之一。

• Android Bench 涵蓋 100 個 Android 開發任務。
• 這次更新加入 8 個新模型。
• 第一名 Claude Fable 5 準確率是 84.5%。
• Gemini 3.1 Pro 排名第五。

成本也上榜後，Gemini 反而沒那麼難看

只看準確率很容易誤判。對開發者來說，成本才是每天會痛到的地方。Google 這次把 cost 和 efficiency 一起放進來，榜單就不只是誰答對比較多，而是誰比較划算。

Claude Fable 5 和 GPT 5.5 都很強，但跑完整個 100 題、10 次測試，成本都超過 130 美元。這種價格拿來做內部測試還行，真要每天跑，財務會先皺眉頭。

Gemini 3.1 Pro 雖然只排第五，成本卻是 87 美元。這讓它在價格上比前面幾個對手漂亮一些。反過來看，Gemini 3.5 Flash 原本應該走省錢路線，結果在這份榜單上卻最貴，單次要 165 美元，還跑了 28 小時。

“The benchmark is a community effort,” Google wrote in its Android Bench announcement on GitHub.

這句話很直白。Google 不是只想發一份榜單，還想讓外部開發者一起補資料。它也說，Android Bench 會跟著工作流程變動，開發者可以提交任務和結果，供官方納入後續版本。

這種設計很像把 benchmark 當成活文件。它不該只服務 PR 圖表，而是要貼近真實開發流程。對做 agent 的團隊來說，這比單純拼分數更有意義。

• Claude Fable 5 和 GPT 5.5 都超過 130 美元。
• Gemini 3.1 Pro 的測試成本是 87 美元。
• Gemini 3.5 Flash 跑到 28 小時。
• Google 開放外部開發者提交任務。

Harbor 讓測試更容易，也讓比較更麻煩

Google 把 Android Bench 轉到 Harbor 框架。它的目標很實際，就是讓執行、評估、分享結果更簡單。對想自己跑 Android 任務的人來說，這會降低很多門檻。

但這也帶來一個麻煩。Google 重新用 Harbor 跑了一次舊測試，所以有些分數會變動，即使題目本身沒有改。也就是說，新榜單不只是模型變了，測試基準也變了。

這件事很重要。很多人看榜單只看名次，忽略測試框架。可是一旦評測工具換了，結果就不能直接拿來跟舊版硬比。這種細節，才是開發者該盯的地方。

• Harbor 用來簡化本地執行和結果分享。
• Google 保留了舊資料歸檔。
• 開發者可以提交新任務。
• Android Bench 的資料集已更新到 GitHub。

Google 的 AI coding 野心，現在還沒壓過對手

Google 一直在推 agentic development。意思很簡單，就是讓模型自己做更多程式工作，不只回答問題。Android Bench 很適合拿來測這件事，因為 Android 開發本來就是 Google 最熟的應用場景。

麻煩的是，Google 自己的模型還沒拿下領先位置。這會變成產品問題，不只是 benchmark 問題。因為開發者真的會拿它跟 OpenAI 和 Anthropic 的模型比較，然後直接決定要不要付費。

我覺得接下來要看兩件事。第一，Google 會不會持續加更多真實 Android 任務。第二，外部開發者會不會真的透過 Harbor 送資料進來。若這兩件事都做得起來，Android Bench 才會越來越像實戰考場。

這份榜單對台灣開發者的意思

如果你在台灣做 app、內部工具，或是 agent 工作流，這份榜單其實很有參考價值。它提醒你，選模型不能只看聊天能力。做 Android 任務時，準確率、成本、執行時間都要一起算。

我會建議團隊先跑自己的小型測試集，再對照 Android Bench。不要只看誰名次高。你真正要的是，哪個模型在你的資料、你的流程、你的截止時間裡最穩。

接下來幾個月，Android Bench 可能會成為 Google 和競品互相對照的固定工具。Gemini 要追回來，靠的不是口號，而是把 Android 任務真的做得更準、更快、更便宜。

短期內，開發團隊可以先做一件事：把你們最常見的 20 個 Android 任務列出來，直接拿不同 LLM 跑一次。這比追著排行榜看，通常更有用。