HumanTracker補上人形評測盲點

153 小時動作資料與 HumanScore，讓人形追蹤評測更接近人類判斷。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：153 小時的光學動作軌跡
• 突破點：偏好對齊評分

人形動作追蹤看起來很直覺，但評測常常不是。模型在平均姿態誤差上表現不差，畫面卻可能出現腳滑、支撐不穩、落腳時機不對等問題。HumanTracker 想補的，就是這個「數字看起來對，眼睛看起來不對」的落差。

HumanTracker: Towards Comprehensive and Human-Aligned Motion Tracking Benchmark 這篇論文的重點，不是再做一個單純的新分數，而是把評測本身重做一遍。它主張，現有的人形追蹤常用運動學指標雖然有用，但不夠完整，也不夠能壓測長時間、接觸密集的動作。

它要解決什麼痛點

這篇摘要先點出一個很實際的問題：評測對不上人類感受。人形追蹤系統可以在逐幀姿態差異上拿到不錯分數，但實際看影片時，動作仍可能顯得怪、飄、或不踏實。原因很簡單，幾何誤差只管關節位置，不管那些讓動作「像不像真的」的物理瑕疵。

摘要特別提到兩種常見失敗：支撐不穩與接觸錯誤。白話一點，就是腳該踩穩時沒踩穩，該落地時沒落地，或是看起來像在地上滑。這些問題在數字上未必很刺眼，卻很容易被人一眼看出來。

另一個痛點是資料規模與多樣性不足。摘要說，常見測試集太小，也不夠多樣，沒辦法充分檢驗長時間、接觸密集的動作。對開發者來說，這很要命，因為 benchmark 如果只測簡單動作，模型很可能在榜單上漂亮，落地時卻翻車。

HumanTracker 裡面放了什麼

HumanTracker 被設計成一個同時兼顧感知對齊與可擴充性的 benchmark。摘要寫得很明確：它收錄大約 153 小時的光學動作軌跡，來源是多位專業表演者。這個量級，至少在摘要裡看起來，確實比它批評的那些小型測試集更有覆蓋度。

不過，摘要沒有提供和既有 benchmark 的直接尺寸對照，所以不能從這裡直接推論它到底大多少。能確定的是，它不是只收一點點資料來做示意，而是想把評測範圍拉大，讓接觸型與長時序動作更容易被測出問題。

摘要還提到，資料被整理成四種 motion families，並附有文字標籤做細粒度診斷。這點很關鍵。因為它代表這個 benchmark 不只是拿來排排行榜，也能幫你看出模型到底卡在哪一類動作、哪一種失誤。

對工程團隊來說，這種標籤層很實用。你不只想知道模型失敗了，還想知道是接觸時機、平衡、某種動作型態，還是別的因素出了問題。摘要沒有展開那四類 motion families 的名稱，所以更細的分類還得看論文本文。

HumanScore 怎麼運作

這篇的另一個重點是 HumanScore。摘要把它描述成一個「偏好對齊」的評分方式，訓練資料來自 12K 組 motion pairs，總共 24K 個 motions。白話講，不是只用幾何公式硬算分數，而是讓模型學會預測人類在兩個動作之間會偏好哪一個。

這個方向很合理，因為人看動作時，腦中不會先算每個關節差了幾度，而是直接判斷：穩不穩、自然不自然、接觸對不對、看起來像不像真的在動。HumanScore 想把這種直覺式判斷，變成可以用來評測的數值。

但摘要沒有交代模型架構、訓練目標、標註流程，也沒有說 HumanScore 是怎麼從 pairwise preference 學出來的。所以這裡要保守一點：我們能確定它是用人類偏好資料訓練的，不代表我們已經知道它的所有實作細節。

即便如此，方法論上的轉向已經很清楚。它不是只問「姿態差多少」，而是問「人會選哪個」。對於看重視覺品質與接觸可信度的任務，這種評測邏輯通常比單純幾何誤差更接近真實使用情境。

論文實際證明了什麼

摘要聲稱，在代表性的 state-of-the-art trackers 上，HumanScore 比傳統運動學指標更能預測人類偏好，也更能抓出接觸與穩定性失敗。這是這篇論文最核心的結果。它想證明的不是某個模型突然大幅進步，而是評測方式本身更貼近人類。

這種結果在研究上很重要，因為它影響的是你怎麼看模型、怎麼比較模型，甚至怎麼定義「做得好」。如果評測指標和人眼感受不一致，那麼排行榜再漂亮，也可能只是把模型往錯的方向推。

不過，摘要沒有公開完整 benchmark 數字。沒有看到百分比、絕對分數、排名變化，或是各 tracker 的具體比較表。因此，不能替它補上不存在的量化結論。比較安全的說法是：作者主張 HumanScore 與人類偏好更一致，並且能揭露傳統指標漏掉的失敗模式。

這也代表目前能讀到的資訊，還不足以判斷提升幅度到底有多大。比如說，偏好預測準了多少、不同 motion family 是否都同樣有效、標註噪聲會不會影響結果，摘要都沒交代。這些都要等正文才能確認。

對開發者有什麼影響

如果你在做 humanoid policy、teleoperation，或 whole-body imitation，這篇論文其實是在提醒一件很常見的事：你可能在優化錯的指標。模型訓練看起來很順，loss 也下降了，但輸出的動作還是會讓人覺得卡、滑、或不可信。

HumanTracker 的價值，在於它把評測當成產品問題來看，而不只是數學問題。它想抓的是使用者真的看得出來的錯誤，而 HumanScore 則想把這些感受變成可比較、可排序的分數。對團隊來說，這有助於更誠實地比較 tracker，也能減少對某些幾何指標的過度擬合。

更廣一點看，這也是 embodied AI 很常遇到的矛盾：只要輸出是要給人看、給人用，評測就不能只看座標距離。這篇是把這個問題放在人形動作追蹤上講清楚，但同樣的落差，也常出現在其他生成與控制任務。

實務上，這類偏好對齊評測還有一個好處：它比較容易暴露「看起來沒差，但其實很差」的錯誤。對做系統整合的人來說，這比單純追求更低的 pose error 更接近真實需求。

限制與還沒回答的問題

摘要的方向很清楚，但細節還是留白不少。像是四種 motion families 到底怎麼定義、文字標籤怎麼標、HumanScore 的訓練與驗證流程是什麼，摘要都沒有說。

另外，HumanScore 的使用成本也還不明。摘要沒有提到它相較於傳統運動學指標是否需要額外推論、計算量多少、或在新動作風格上的穩定性如何。這些都會影響它能不能真的進到開發流程裡。

還有一點也很重要：摘要沒有公開完整 benchmark 細節，所以我們現在只能知道它的設計方向與作者主張，還不能直接評估它在不同場景下的泛化能力。這不是缺點本身，而是目前可讀資訊的邊界。

總結來說，HumanTracker 的價值不在於又多了一個分數，而在於它試著把人形追蹤的評測，拉回人真的會在意的地方。對做 teleoperation 或 imitation 的團隊來說，這種改動很實際：它讓你不只是在優化表格，而是在優化可信的動作。

• HumanTracker 擴大了人形動作追蹤的評測覆蓋。
• HumanScore 用人類配對偏好訓練，不只看姿態幾何。
• 它主要抓的是接觸與穩定性這類傳統指標常漏掉的錯誤。