OpenCoF 讓影片模型逐幀推理

以前影片模型多半只學會補出合理動作，現在 OpenCoF 讓它們靠時間監督與推理 token 逐幀維持狀態。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：四個影片推理 benchmark
• 突破點：OpenCoF-17K 加雙推理 token

這篇論文想處理的，不是影片能不能動，而是模型能不能「想著往下生成」。作者把這件事拆成一個更具體的問題：當一段影片要跨時間維持視覺狀態、語意脈絡與先後順序時，單靠一般影片資料，夠不夠。

OpenCoF 的答案很直接：不太夠。它主張，若要讓影片生成模型具備更穩定的推理能力，就不能只餵大量通用影片，而要提供明確的時間監督，還要把推理過程拆成可追蹤的中介狀態。

這個方向對開發者很重要。因為影片生成正在從「內容引擎」往「推理底座」移動。若模型能在逐幀生成時保住狀態，很多依賴因果、空間變化、步驟順序的任務，才有機會做得更可靠。

OpenCoF 想補的洞

論文先指出一個落差：近年的影片生成模型，已經出現一條不同於傳統 Chain-of-Thought 的推理路徑。作者把它稱作 Chain-of-Frame，也就是讓推理沿著時間連續的影格展開。

問題是，這個概念雖然漂亮，訓練方式卻還很粗。多數模型仍是用一般影片資料訓練，學到的是「看起來像影片」的先驗，不一定是「能跨影格推理」的能力。

OpenCoF 要測的，就是這個差別到底有多大。當模型不再只吃通用影片資料，而是加入專門的時間監督，它能不能更好地保留中間推理狀態，並把前一幀的資訊帶到下一幀。

作者也強調，CoF 不是單純追求畫面一致。它要處理的是推理狀態如何隨時間展開。換句話說，模型不只要知道「現在看到了什麼」，還要知道「接下來應該發生什麼」。

方法怎麼做

OpenCoF 的設計可以拆成三塊：OpenCoF-17K 資料集、一個涵蓋 11 類任務家族的影片推理資料集，以及用來驗證方法效果的 Wan-CoF。

其中，OpenCoF-17K 是整個框架的基礎。摘要沒有列出每一類任務細節，所以不能把它說得太滿；但至少可以確定，這不是只針對單一小型 benchmark 的資料，而是朝多樣化的推理影片任務去設計。

Wan-CoF 則是模型端的實驗對象。它從 Wan2.2-I2V-A14B 微調而來，用來觀察當影片模型接受更有針對性的時間監督後，是否真的能改善 CoF 行為。

方法核心則是兩種推理 token：一種偏視覺，一種偏文字。視覺推理 token 用來承接低階視覺線索，文字推理 token 用來承接高階語意先驗。作者想做的，是把「看見什麼」與「應該怎麼推下去」分開處理，再讓它們一起服務逐幀生成。

這種設計的概念很像替模型多開一個工作區。不是只丟 prompt，然後等它自己一路猜到底；而是讓它在生成過程中保留中介資訊，方便跨空間與跨時間地接續推理。

論文還進一步分析這些 token 在模型深度、去噪步驟、空間與時間上的表現。也就是說，作者不只看最後分數，還試著看模型在生成過程中，到底什麼時候、在哪裡、比較依賴哪一種 token。

這點對實作很有價值。因為生成模型常常像黑盒子，分數有提升不代表機制真的懂了。這篇至少有試著把改善來源拆開，讓研究者能更清楚地看到方法到底在幫哪一段流程。

結果證明了什麼

根據摘要，Wan-CoF 在四個影片推理 benchmark 上，都比 Wan2.2-I2V-A14B baseline 有明顯提升。不過摘要沒有公開這四個 benchmark 的名稱，也沒有列出具體分數，所以這裡沒有完整 benchmark 細節可直接對照。

即便如此，摘要傳達的方向很清楚：更豐富的時間監督，確實有助於影片推理；而明確的推理 token，也確實能幫模型整理生成過程中的中介狀態。

論文的證據有兩種。一種是 benchmark 比較，證明模型表現變好。另一種是 attention analysis，作者用它來說明這些 token 不是裝飾，而是在生成過程中扮演實際角色。

但摘要沒有宣稱 OpenCoF 已經解決影片推理。它的語氣比較保守，是在說這條路有前景，而不是問題已經結案。這個界線很重要，因為影片推理本來就是還在快速演化的研究題目。

對開發者有什麼意思

如果你在做生成式影片，這篇論文其實是在提醒一件事：通用影片資料，可能夠讓畫面動起來，但不一定夠讓模型做有結構的時間推理。

換句話說，訓練資料的角色變了。以前重點是「看過夠多影片」，現在可能要進一步問：資料有沒有把時間順序、狀態轉移、語意接續這些東西教清楚。

對工程上來說，OpenCoF 也提供一個可操作的思路：不要只讓模型從 prompt 直接跳到輸出，最好替它保留中介狀態。視覺與文字兩種推理 token，就是這種做法的具體例子。

這對多模態 agent、模擬、規劃、合成資料生成都可能有影響。因為這些場景常常不只是要「像」，而是要「照規則演化」。能跨影格維持推理的模型，會更適合描述變動中的場景，或檢查時間一致性。

限制與還沒回答的問題

摘要也留下不少工程師最想知道、但目前還看不到答案的地方。第一，它沒有公開 benchmark 數字。第二，它沒有列出四個 benchmark 的名稱。第三，它沒有說微調成本有多高。

另外，Wan-CoF 是建立在 Wan2.2-I2V-A14B 上微調出來的，所以從摘要還看不出這套方法能不能平移到其他影片生成器。也就是說，目前比較像是在特定家族上驗證方向，而不是證明一個通用框架。

還有一個問題是泛化。作者主張需要更廣的時間監督，但摘要沒有說模型碰到陌生推理型態時，表現會不會掉得很快。這對真正要上線的系統來說，會是很關鍵的風險點。

不過，這篇的價值仍然很明確。它把討論從「把影片生成做得更像」往前推了一步，變成「把影片生成做得更會想」。對研究社群來說，這是更可操作的方向。

而且摘要提到，作者已經把資料集、模型與程式碼開源。對研究者和開發者來說，這代表可以更直接測試同樣的想法能不能搬到別的設定，也能觀察 Chain-of-Frame reasoning 是否真能變成可重複使用的設計模式。

結論

OpenCoF 證明了一件事：影片模型要更會推理，不只要更多影片資料，還要能在時間上被明確監督，並用推理 token 把中介狀態整理起來。

它不是影片推理的終點，但它很清楚地指出下一步不是單純把模型做大，而是讓生成器本身具備更好的時間思考能力。