IG-Bench：測科學譜系推理

IG-Bench 用科學 idea 譜系來測 LLM 能否追蹤繼承、變異與生成新想法。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：27.3% exact accuracy
• 突破點：Idea Genome 與 GenomeDiff

這篇論文想證明一件事：大型語言模型不只要會讀論文，還要能看懂科學想法怎麼一代代演化，並據此生成合理的新點子。

這個切角很實際。很多 AI 工具現在擅長摘要、檢索、改寫，但一碰到「這個想法從哪裡來、改了什麼、還能怎麼延伸」就容易斷線。IG-Bench 就是為了抓這種落差而設計。

這篇在補哪個洞

作者的核心批評很直接：現有 benchmark 多半在測表層理解，卻沒有好好測「科學譜系推理」。

也就是說，模型可以看懂單篇論文的內容，不代表它懂這篇論文和前後研究之間的傳承關係。對研究工作來說，這個差別很大。真正有用的系統，不只是知道某篇 paper 說了什麼，還要知道它承接了誰、修正了誰、又丟掉了什麼。

論文把科學 idea 想成比較像「基因組」的東西，而不是一段孤立文字。這個比喻不是裝飾，而是方法核心。因為一個研究構想通常會保留前作的一部分，修改弱點，刪掉不合用的部分，再加入新元素。

IG-Bench 要測的，就是模型能不能把這種演化路徑重建出來。不是只會說「這兩篇很像」，而是能說出「這個想法怎麼從上一代變成下一代」。

Idea Genome 和 GenomeDiff 怎麼運作

這篇的方法核心有兩個名詞：Idea Genome 和 GenomeDiff。

Idea Genome 是基本單位。論文把每篇 paper 或 proposal 表示成一組最小、帶類型、而且有證據依據的 Idea Genome objects。白話一點，就是把一個研究想法拆成可追蹤的小零件，而且每個零件都要能對回證據，不是只靠模糊敘述。

接著是 GenomeDiff。它負責把不同 paper 的 Idea Genome objects 對齊，記錄哪些部分被繼承、哪些地方變異、哪些內容消失、哪些外部元素被引入，以及哪些是新插入的東西。作者把這些變化整理成六種操作性的演化動態。

這樣做的重點是，模型被要求理解「變化的型態」，而不是只做相似度判斷。兩篇文章看起來接近，不代表它們在譜系上有正確的承接關係。GenomeDiff 想抓的就是這個細節。

這套結構也支撐了兩個評測：IG-Exam 和 IG-Arena。

IG-Exam 是推理測試。它有 42 種任務類型、1,029 個實例，涵蓋 Idea Genome 抽象、繼承追蹤、演化推理、以及譜系驗證。也就是說，它不是單一題型，而是一組分工明確的 lineage reasoning 測驗。

IG-Arena 則是生成測試。它看模型能不能把一個 proposal 放進既有譜系裡，而且還要像個合理的後代。這比一般 idea generation 難很多，因為模型不能只「想得新」，還要「新得合理」。

IG-Arena 用的是 lineage-conditioned Population-Evolution Score，簡稱 PES。論文描述這個分數會同時看三件事：提案是否繼承了正確的 Idea Genome objects、是否相對周邊工作有實質變化、以及是否對未來研究有選擇價值。這等於把「像不像新想法」和「是不是好後代」拆開來看。

這篇實際證明了什麼

先看資料規模。論文報告了 1,961 條 golden lineage traces、1,085 個人工整理的 Idea Genome objects，以及 920 筆 pairwise GenomeDiff records，橫跨 10 個科學領域。

這個規模代表它不是只做單一學科的小測驗，而是想讓 benchmark 有跨領域的形狀。對一個主打「科學譜系」的評測來說，這點很重要，因為不同領域的研究演化方式本來就不一樣。

實驗則涵蓋 14 個 LLM-based scientists。最醒目的結果不算漂亮：最強系統的 exact accuracy 只有 27.3%。

這個數字透露的訊息很明確。模型在處理單一資訊時可能還行，但一旦要把多個譜系關係組合起來，就會出現明顯瓶頸。論文把這稱為 compositional bottleneck，也就是組合推理卡住了。

另一個值得注意的發現是，加入結構化的 lineage context，不是對所有模型都一樣有幫助。它不會帶來一個普遍、平均的提升，反而會重新洗牌不同系統的排名。

這代表 lineage 資訊不是萬靈丹。某些模型更能吃進這種結構，某些模型則不行。對開發者來說，這是很實際的提醒：同樣的提示或上下文設計，不同模型的受益程度可能差很多。

另外要注意，摘要沒有公開完整 benchmark 表格，也沒有提供每個任務的分數、延遲或計算成本。所以目前能確定的，主要就是這個 27.3% 的主結果，以及 lineage context 會改變相對表現這件事。

對開發者有什麼意思

如果你在做研究助理、論文工具、文獻整理系統，或任何會碰到「提案新想法」的 AI 應用，這篇論文其實是在提醒一個常被忽略的失敗模式。

模型可能很會抽資訊，但不代表它懂研究脈絡。當任務變成「根據既有研究提出下一步」，它就需要知道哪些元素是沿用、哪些是修改、哪些是新增。沒有這層能力，輸出就可能看起來合理，實際上卻切斷了研究譜系。

IG-Bench 的價值在於，它把這種能力變成可測的東西。開發者不必再只問「這個答案有沒有道理」，而是可以問「這個提案是不是某條已知 lineage 的合理後代」。

這對產品設計很有幫助。因為一旦評測目標變清楚，系統就能更精準地調整：是要強化譜系追蹤、還是要強化 lineage-grounded generation，抑或兩者都要。

限制也很明顯

但這篇也有界線。摘要沒有說 golden lineage traces 是怎麼建的，也沒有交代標註過程有多困難，或如何區分 inheritance 和 novelty 的主觀性。這些細節如果缺席，實務上就很難完全判斷 benchmark 的穩定度。

另外，這個 benchmark 聚焦的是結構化的譜系推理與譜系約束下的生成。這很有用，但它仍然不是現實科學發現本身。真實研究常常有不完整證據、互相衝突的解讀，還有很多灰色地帶。benchmark 可以逼近這種複雜度，但不可能完全等於真實世界。

所以比較合理的讀法是：IG-Bench 不是在宣稱 AI 已經懂科學發現，而是在提供一個更接近研究現場的測法。它把「會不會讀 paper」往前推了一步，變成「會不會理解 paper 之間的演化關係」。

對台灣開發者來說，這篇的訊號很清楚：如果你要做下一代研究型 AI，光有檢索和摘要不夠，還要能處理知識如何傳承、變形、再生。IG-Bench 提供了一個可以直接拿來對齊的評估方向。

• 它把科學 idea 當成可追蹤的演化譜系。
• 它同時測 lineage 推理與 lineage-grounded 生成。
• 最強模型 exact accuracy 只有 27.3%，顯示組合推理仍很弱。