Databricks 為模型服務加上 AI Gateway 推論表
Databricks 於 6 月 30 日更新 AWS 文件，為 Model Serving 與 AI agent 加入 AI Gateway 推論表，將請求、回應與追蹤資料寫入 Unity Catalog。
Databricks 在 6 月 30 日更新文件，為模型服務端點加入 AI Gateway 推論表，會把請求與回應資料寫進 Unity Catalog。
Databricks 於 2026 年 6 月 30 日更新 AWS 文件，說明 Databricks 的 AI Gateway 已可搭配 inference tables 使用，支援的對象包含 Model Serving 與已部署的 AI agent。這項功能會自動蒐集請求、回應、HTTP 狀態碼、執行時間、request ID 與 trace，集中存到 Unity Catalog 的 Delta table。
| 項目 | 數值 |
|---|---|
| 文件更新日期 | 2026 年 6 月 30 日 |
| 支援的端點類型 | 5 種 |
| 每個部署自動建立的 AI agent 表 | 3 類資料 |
| payload 資料可用時間 | 1 小時內 |
發生了什麼
訂閱 AI 趨勢週報
每週精選模型發布、工具應用與深度分析，直送信箱。不定期，不騷擾。
不會寄垃圾信，隨時可取消。
這次更新把 inference tables 從單純的記錄機制，提升成 Model Serving 的內建可觀測層。只要啟用，系統就會把進站請求、出站回應、狀態碼、執行時間、request ID 與 traces 寫入 Unity Catalog，讓團隊可以直接查詢，不必再翻分散的日誌。
文件也把範圍擴到 AI agent。對 agent 來說，Databricks 會保存 payload、request 細節與 MLflow Trace logs；如果是透過 mlflow.deploy() 部署，系統還會自動建立 inference tables。支援的端點類型包含：
- Provisioned throughput
- Pay-per-token
- External models
- Deployed AI agents
- Custom models
文件同時列出限制：工作區必須有 Unity Catalog、serverless compute，且所在區域要支援 model serving。Databricks 也提醒，端點建立者與修改者都需要 Can Manage 權限，外加 USE CATALOG、USE SCHEMA、CREATE TABLE 等權限；而且系統只會為新表建立 inference table，既有表不支援直接套用。
為什麼重要
對開發者來說，這代表模型流量不再只是黑盒子裡的雜訊，而是可以直接查詢、聯集、比對的資料。團隊能把 inference tables 跟 ground truth 標籤接起來，做評估集、找出錯誤樣本、追 drift，甚至直接在 Databricks SQL 或 notebook 裡檢查失敗案例。
對維運與平台團隊，這也讓 agent debugging 更好做。因為表格會帶著 MLflow traces 和 request metadata，團隊可以追慢請求、比對歷史輸入，快速看出延遲或回應品質是從哪一版開始變化。Databricks 另外提到新的 Unity AI Gateway beta，定位是管理 LLM 端點與 coding agents 的企業控制平面，顯示推論、治理與觀測正在往同一套工作流集中。
Databricks 也明講，改動 schema、重新命名或刪除表格，都可能讓 logging 中斷或損壞表格；對 AI agent 而言，舊的 request logs 與 assessment logs 也正被新 payload tables 取代。對團隊來說，問題已不是要不要記錄模型流量，而是要不要從第一天就把這些資料納入 Unity Catalog 管理。