Marionette 把狀態和外觀拆開

31% 的 root-aligned joint error 變化，顯示 Marionette 能把顯式 3D 狀態和外觀生成拆開，讓互動遊戲世界更可控。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：31% root-aligned joint error 變化
• 突破點：狀態、幾何、外觀分離

Marionette 不是把整個遊戲世界一次生成完，而是把「該精準的」和「可學的」分開處理。它先預測顯式世界狀態，再用零參數的幾何橋接器把狀態轉成可控的姿態影片，最後才交給 diffusion 去補外觀。這種拆法，直接對準長時序生成最常見的問題：一旦姿態、碰撞或遮擋出錯，誤差就會一路滾下去。

這篇論文想解哪個痛點

這篇論文鎖定的是互動式遊戲世界模型，尤其是帶有關節結構的角色。這類系統不只要「看起來像」，還要在時間上維持世界一致性。角色站在哪裡、骨架怎麼轉、兩個物體是不是互相遮擋，這些都不是純視覺問題，而是世界狀態問題。

問題在於，很多既有方法是直接在像素或 latent space 裡自回歸下一幀。這樣做的代價是，模型得把幾何、姿態、碰撞、遮擋全塞進同一個黑盒序列裡。短期看起來沒事，長一點就容易漂移。某個關節角度錯了，後面幾十步都會跟著歪。

Marionette 的出發點很務實：如果某些部分本來就可以用明確的結構描述，那就不要逼神經網路重學一次。幾何可以直接算，外觀再交給生成模型。這樣做的目的不是炫技，而是讓互動生成更穩、更好修。

Marionette 到底怎麼運作

整個系統可以拆成三段。第一段是兩階段的 autoregressive dynamics model，負責預測一個顯式的 276 維 3D world state。摘要提到這個狀態包含多個實體的 articulated skeleton、metric root trajectories 和 rotations。白話一點，就是把角色骨架、根部移動路徑和姿態旋轉都放進明確的狀態向量裡。

第二段是 zero-parameter graphics bridge。它會把前一步預測出的狀態，直接轉成 pose-control videos。這個橋接器會在 closed form 下計算 world-space geometry 和 occlusion。重點在於，它不是學出來的，所以不需要把模型容量浪費在基本幾何計算上。

第三段才是 control-conditioned video-diffusion observation model。這一段負責最後的 RGB 外觀。它不是從零猜整個世界，而是接收前面狀態推導出的結構化控制訊號，再把畫面補出來。也就是說，狀態管動態，渲染管幾何，diffusion 管視覺質感。

這種分工很像把遊戲引擎和生成模型接起來。引擎負責規則和幾何，神經網路負責容易模糊、但很吃資料的外觀細節。論文的核心主張，就是不要把這三件事混成一條難以解釋的序列。

論文實際證明了什麼

摘要裡最直接的證據，是顯式世界狀態真的能被控制。作者在 48 個 held-out segments 上，強制灌入不匹配的 action stream，結果 root-aligned joint error 出現 31% 的變化。這代表模型不是只會生成表面影像，它的狀態表示確實會對控制輸入產生可量測的反應。

另一個結果是長時序行為的漂移問題。當模型自由跑時，兩個生成角色最後會漂到相距 21.2 公尺；而真實錄製的 sessions 大約維持在 5 公尺左右。摘要還提到，在同樣的 free-running 設定下，有三分之一的幀會出現 ground penetration。這些數字很直白地說明：如果不處理結構，生成世界很容易失真。

更有意思的是，作者不是只證明「會漂移」，而是證明「可以在狀態層修」。他們在顯式狀態上加了兩條規則：terrain collider 和 separation cap。結果是 penetration 減少 66%，而且兩個角色能維持互動，整個 observation model 甚至不用重訓。這點很重要，因為它顯示真正有用的修正點不一定在畫面端，而可能在世界狀態端。

外觀品質方面，摘要也給了一個檢查。把外觀經由預測狀態來生成，FVD 是 831；對照 recorded pose 是 799。差距存在，但摘要沒有把它解讀成明顯的品質崩壞。換句話說，作者想傳達的是：把幾何交給確定性流程，並沒有讓外觀路徑失去基本可用性。

不過也要講清楚，這篇摘要沒有公開完整 benchmark 細節。除了上面這些數字，沒有更完整的 leaderboard、跨資料集比較，或更廣泛的評估表。能確認的是方法方向和幾個關鍵實驗點，不是整套大規模對比。

為什麼這種拆法對開發者有用

如果你做的是模擬、遊戲代理、互動生成，這篇的啟發很直接：可解釋的結構，會比全黑盒更好 debug。當 pose、collision、trajectory 都被塞進 latent 裡，出了問題通常很難知道是誰壞掉。但如果世界狀態是明確的，你就能直接看是哪個環節錯了。

第二個好處是可介入性。很多生成系統一旦怪掉，只能從輸出端修圖或重訓模型。Marionette 顯示另一條路：你可以直接改 state layer。像摘要裡那樣，只改 terrain collider 和 separation cap，就能把穿地和分離問題壓下來，而且不動外觀模型。

第三個好處是工程分工更清楚。幾何和遮擋這些事，本來就很適合 deterministic computation。它們不一定需要一個大型生成模型來學。這樣做可以把神經網路的負擔，集中在真正需要資料驅動的部分，也就是外觀和細節。

對台灣這邊做 AI 遊戲、虛擬人、互動內容的團隊來說，這種架構思路很實際。不是所有問題都要靠更大的模型解。有些問題只是需要把責任切對地方。當系統要遵守類物理約束時，讓一部分流程回到明確計算，常常比硬塞進生成器更穩。

限制和還沒說完的地方

這篇摘要的優點是把架構講得很清楚，但限制也很明顯。首先，它沒有交代完整的 benchmark 範圍，所以很難只靠摘要判斷 Marionette 跟其他 world model 的相對位置。你可以看到幾個結果，但看不到完整比較面。

其次，方法的適用範圍目前看起來偏特定。它處理的是互動遊戲裡的 articulated characters，這代表它對骨架、根軌跡、遮擋這些元素很有針對性。但摘要沒有證明它能不能自然延伸到其他場景、物件型態，或更複雜的 motion regime。

還有一個現實問題是，零參數 renderer 雖然讓幾何變得精準，但整體系統還是仰賴前面的 state prediction。也就是說，如果狀態本身預測錯了，渲染器只會把錯的東西忠實畫出來。它減少的是幾何漂移，不是把所有動態預測問題都消掉。

所以這篇比較像是在告訴大家：當任務同時包含結構、動態和視覺外觀時，拆分責任比硬合成一個黑盒更有機會做出可控系統。它不是宣告生成式 world model 已經解完了，而是提供一個更務實的組合方式。

結論

Marionette 證明了一件事：互動遊戲世界模型不一定要把幾何、狀態和外觀全混在一起。先預測顯式 3D 狀態，再用確定性方式處理幾何，最後只讓 diffusion 負責外觀，能讓系統更容易控制，也更容易修正。

對開發者來說，這篇的重點不是某個單一數字，而是設計哲學。當你要做長時序、可互動、還要看起來合理的生成系統時，把「必須精準」和「可以學」分開，往往比把一切交給同一個模型更可靠。

• 顯式 state 讓控制和除錯更直接。
• 確定性幾何可以減少神經網路負擔。
• 摘要有關鍵結果，但沒有完整 benchmark 細節。