TerraZero：零示範自玩學開車

TerraZero 怎麼做到不靠示範就能訓練自駕？

TerraZero 用程序化駕駛模擬器與自玩訓練，讓自駕策略從零開始學習，不靠人類示範。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：1.3M agent-steps per second
• 突破點：CPU 模擬、GPU 推論零拷貝

這篇論文想解的，是自駕訓練裡很老的難題：要夠快、要夠真、還要能碰到平常資料很少出現的危險情境。TerraZero 的答案不是再多蒐集一批人類示範，而是把訓練管線重新設計成「可大規模自玩」的樣子。它用程序化模擬器把真實地圖結構保留下來，再把交通參與者、控制器、動態與獎勵隨機化，讓同一張地圖長出很多不同劇本。

從開發者角度看，這不是單純多了一個模擬器，而是把模擬、資料、訓練三件事綁成一條流水線。論文主張，這樣做可以同時處理三個痛點：模擬太慢、場景太少、長尾太稀。對自駕來說，真正麻煩的往往不是一般道路，而是那些少見但一出事就很嚴重的情境。

TerraZero 想補哪個洞

傳統自駕訓練常卡在取捨。模擬器太慢，強化學習就很難跑大規模。模擬器太簡化，學到的策略又可能只會在虛擬世界裡開車。若只重播已記錄的路況，系統就容易被常見行為塞滿，卻碰不到真正重要的長尾案例。

TerraZero 的切入點，就是把這三件事一起往前推。摘要明講，既有 object-level 模擬器比較慢；而較輕量的單車系統，則少了異質 agent、多種動態模型，以及完整交通規則執行。換句話說，很多方案不是快但不夠真，就是真但跑不動。TerraZero 想把速度、保真度和多樣性盡量放進同一套設計。

它對資料的態度也很明確。論文不是把 logged driving data 當成完整訓練集，而是把它拿來重建真實地圖幾何。地圖回來之後，系統再把隨機化的道路使用者與控制器填進去。這代表它不是照著錄影重播，而是用真實地圖當骨架，自己生出更多情境。

方法怎麼運作

TerraZero 的核心是一個可配置的 C 引擎。模擬跑在 CPU，策略推論跑在 GPU，兩邊透過 zero-copy 路徑溝通。摘要給出的數字是：在單一 server-grade GPU 上可達 1.3M agent-steps per second。這個數字很關鍵，因為它直接決定強化學習能不能真的跑起來，而不只是停留在 demo 等級。

這種架構的重點，不只是快，而是把資料搬運成本壓下來。很多 RL 系統不是算不動，而是卡在模擬器與模型之間來回傳資料。TerraZero 把 CPU 模擬和 GPU 推論拆開，再用零拷貝路徑串起來，等於把「要不要餵得動 policy」這件事先處理掉。

另一個重點是隨機化。論文說它會在每個 episode 隨機化 agent dynamics、reward 和 size，也會在每張地圖中放入隨機的 rule-based road users 與 signal controllers。這樣一來，一張地圖不只是一個場景，而是一個能吐出很多變體的場景生成器。對長尾覆蓋來說，這比單純堆更多錄製片段更有彈性。

TerraZero 也不是只做 ego vehicle。摘要提到，這套系統可以訓練跨不同動態的駕駛策略，涵蓋 car 和 truck，也能當成 sim-agent 系統，讓車輛、行人、腳踏車一起被控制。這讓它比只管單一主車的設定更通用，也更接近真實交通裡的多角色互動。

論文實際證明了什麼

摘要裡最具體的系統數字，就是前面提到的 1.3M agent-steps per second。作者並把這個吞吐量形容為比既有 object-level simulators 快很多。不過摘要沒有放出完整比較表，所以這個說法在這裡應該理解成論文的方向性主張，而不是完整 benchmark 明細。

在學習方式上，論文的態度很硬：所有報告的 policy 都是從零開始訓練，只用 reinforcement learning，沒有 human demonstrations，也沒有 inference 時的 fallback planner。這件事很重要，因為它同時拿掉了兩個常見支撐：一個是 imitation learning 的專家示範，另一個是手工設計的安全或控制備援。

摘要還提到，訓練出的 policy 可以 zero-shot 泛化到不同城市與不同資料集，甚至能在沒有明確監督下出現左側通行。這代表它不是只會背某一張地圖，而是有機會跨區域、跨地圖風格移動。對要做多城市部署的團隊來說，這種訊號很有吸引力。

評估結果方面，摘要給的是相對排名，不是完整分數。它說 TerraZero 作為 ego policy，是第一個在 InterPlan long-tail benchmark 上拿到頂部表現的 fully learned policy，而且贏過更大的 learned planners。在 routine-driving 的 val14 上，它也被描述為名列前茅，且在 collision 和 time-to-collision 指標上最安全。至於 Waymo Open Sim Agents realism，它則優於其他不靠 demonstrations 的方法，並且能和最強的 reference-anchored self-play 方法競爭。

要注意的是，這些都是摘要層級的結果描述，沒有公開完整數字。也就是說，論文確實給出很強的方向性證據，但如果你要做嚴格比較，還是得回到全文看表格、設定與消融。

對開發者有什麼影響

如果你在做自駕、模擬器或 RL 基礎設施，TerraZero 的價值在於它示範了一條「不用人類示範也能起跑」的路。這對資料昂貴、資料不完整，或資料本身偏向常見行為的團隊特別有用。因為真正麻煩的場景，往往不是日常開車，而是那些少見、混亂、又很難蒐集的片段。

它的程序化地圖加隨機化設計，也很實用。與其為每一種場景都收一份專屬資料，不如把一張真實地圖展成很多 episode，讓交通參與者、控制器、動態與獎勵都能變。這種做法不一定取代真實資料，但很適合拿來補長尾，尤其是你不想把蒐集成本一路拉高的時候。

zero-copy 的 CPU/GPU 設計則是另一個工程提醒。高吞吐 RL 系統常常不是被 model 算力卡住，而是被記憶體搬移拖慢。TerraZero 把模擬器與推論的資料路徑一起設計，等於在說：如果你真要做大規模訓練，模擬器架構本身就是訓練架構的一部分。

限制與還沒回答的問題

摘要的訊息很強，但它也留下不少空白。最明顯的是，沒有完整 benchmark 表、沒有消融結果，也沒有把 1.3M agent-steps per second 的測量條件講細。像 zero-copy 路徑、程序化隨機化、異質 agent 這些設計，各自貢獻多少，摘要裡也看不出來。

另一個問題是 realism。TerraZero 確實保留了異質 agent、多種動態模型和交通規則執行，但它仍然是程序化模擬器，不是完整的真實世界重播系統。對實務團隊來說，關鍵不是它是不是「絕對真」，而是它對目標任務夠不夠真、夠不夠穩。

還有一點值得注意：零示範訓練很吸引人，但也把壓力全放在 reward 和環境設計上。只靠 reinforcement learning，可以很強；設計不好，也可以很脆。摘要沒有交代 reward shaping 的細節，所以這套方法目前看起來是很有前景，但還需要看全文才能判斷它在不同情境下到底有多穩。

整體來看，TerraZero 提供的是一個很清楚的方向：用真實地圖、程序化交通與高速自玩，把自駕策略訓練成不依賴示範、又能碰長尾的系統。它不是在說資料不重要，而是在說資料不一定要用「示範」的形式存在。

• 高速模擬器正在變成自駕基礎設施的一部分，不只是研究配角。
• 程序化地圖與隨機化，可以把一份地圖資料擴成很多訓練情境。
• 零示範自玩很有吸引力，但成敗高度依賴 reward 與模擬 fidelity。