MOJO 用無標註資料強化神經解碼

MOJO 把 masked autoencoding 和監督式訓練合在一起，讓 spike-tokenizing 神經解碼器能吃進無標註資料，在標籤很少時表現更穩。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：摘要無公開 benchmark 數字
• 突破點：聯合遮罩自編碼訓練

神經解碼這件事，最怕的不是模型不會學，而是資料不夠乾淨、標籤不夠多，或一換 session 就掉分。這篇論文要處理的，就是這個很現實的痛點。

作者提出 MOJO（Masked autOencoder-based JOint training），把監督式訓練和 masked autoencoding 放進同一套流程，讓 spike-tokenizing 模型不只看有標籤的資料，也能直接利用無標註神經訊號。

這篇在解什麼問題

先講白話版。很多神經解碼系統，都需要行為標籤來訓練。問題是，這些標籤很貴，也很難收集。尤其是你要換新受試者、新 session，或新錄製條件時，常常手上有一堆神經資料，卻只有很少的對應標註。

摘要指出，近年的 spike-level tokenization 已經幫上多 session pretraining 和解碼品質。不過這類模型還是偏向純監督式訓練，不能直接吃無標註資料。這就讓它在真實場景裡少了一大塊可用訊號。

MOJO 的目標，就是把這個缺口補起來。它不是把 self-supervised learning 和 supervised learning 分開做，而是把兩者合在同一個訓練框架裡，讓無標註神經資料也能進入訓練迴圈。

MOJO 到底怎麼運作

這個方法的核心很直觀：一邊做監督式學習，讓模型學會預測目標行為；另一邊做 masked autoencoding，讓模型去補回被遮住的神經輸入片段。

這個遮罩重建任務的價值，在於它不需要標籤。模型只要看神經資料本身，就能學到資料裡的結構。換句話說，原本會被丟掉的無標註錄音，現在變成有用的訓練訊號。

因為 MOJO 是建立在 spike-tokenizing 模型上，所以它延續的是既有的神經表徵學習路線，而不是另起爐灶。差別在於，它不把訓練侷限在有標籤樣本，而是把無標註資料也納進來。

摘要還提到，這個額外的 SSL 目標，不只幫助解碼，還讓神經表徵更好，因此在腦區分類和 spike 統計預測上也有幫助。這些任務不是主要優化目標，卻能側面反映模型學到的表示更完整。

論文實際證明了什麼

作者把 MOJO 放到三組 spiking 資料集上測試：猴子運動皮質的 reaching、跨多腦區的小鼠 vision 與 decision-making 任務。另外還測了人類 ECoG 的 speech 資料，這點很重要，因為它把方法從 spikes 推到另一種神經模態。

摘要的結論很一致：MOJO 比純監督訓練的模型表現更好。特別是在標籤稀少的情況下，優勢更明顯，尤其是 few-shot finetuning，也就是只拿到很少新 session 標籤時的微調表現。

論文也主張，MOJO 不只在 spikes 上有效，還能做到和專為連續訊號設計的 neuro-foundation models 相近的表現。這代表它的訓練想法，不是只對某一種資料格式有效。

不過要注意，摘要沒有公開完整 benchmark 數字。也就是說，這份摘要能讓你知道方向是正的，但還看不到具體提升幅度、誤差下降多少，或各任務的詳細分數。

• 摘要列出 3 組 spiking 資料集。
• 另外也測了人類 ECoG speech 資料。
• 優勢主要出現在 few-shot finetuning 與標籤不足場景。

為什麼開發者要在意

如果你在做 neural decoder，這篇最實際的訊號是：不要把無標註神經資料當成沒用的資料。對 BCI、closed-loop 實驗，或任何需要把神經活動轉成預測結果的流程來說，無標註資料通常比乾淨標籤更容易累積。

這代表訓練策略可以改。不是每次都從少量標註硬撐，而是先把大量未標註錄音納入表徵學習，再用少量標籤做下游任務微調。MOJO 提供的是這種混合式訓練的具體做法。

對想做 neural foundation models 的團隊來說，這篇也有一個訊號很清楚：預訓練和下游解碼不一定要分成兩條路。摘要把這個結果描述成更可擴展的資料使用方式，意思就是它朝向更像 foundation model 的訓練習慣。

工程上真正值得注意的，不只是準確率，而是訓練配方本身。masked autoencoding 加上 supervised objective，再套到 spike-tokenizing 模型上，最後還能延伸到另一種模態，這讓它比較像一種可重用的訓練模式，而不是單點改良。

限制與還沒回答的問題

這篇摘要的限制也很明顯。第一，它沒有公開 benchmark 數字，所以我們無法從摘要直接判斷提升幅度有多大。

第二，它沒有交代訓練成本、推論成本，或 joint objective 會不會讓流程變複雜。對真實部署來說，這些往往和準確率一樣重要。

第三，摘要雖然涵蓋三個 spiking 資料集和一個人類 ECoG 場景，但這仍然只是神經解碼領域的一部分。方法能不能穩定泛化到更多錄製條件、更多任務類型，摘要沒有直接回答。

所以比較務實的結論是：MOJO 證明無標註神經資料可以被正式納入訓練，而且這樣做看起來有助於標籤稀少時的泛化。對神經介面和解碼系統團隊來說，這是一個很實用的訓練方向。

如果你的 decoder 需要撐過新 session、新受試者，或新的錄製條件，那麼把監督式學習和 self-supervised learning 混在一起，可能比只靠標註資料更合理。MOJO 提供的就是這個方向的具體證據。