6 個 Azure Databricks 核心能力
8 項 Azure Databricks 能力一次看懂，幫你判斷它是否適合 ETL、BI、ML、治理、串流與 OLTP。
Azure Databricks 把資料工程、分析、AI 與治理放在同一個湖倉平台上。
讀完這 6 項，你可以判斷它是否能取代你手上的多套資料工具，還是只適合其中一段工作流。對想把 ETL、BI、ML 與串流收斂到同一平台的團隊，這份清單最有參考價值。
| 項目 | 主要用途 | 代表工具 |
|---|---|---|
| Lakehouse | 單一可信資料來源 | Delta Lake, Unity Catalog |
| ETL 與資料工程 | 擷取與轉換資料 | Spark, Auto Loader, Lakeflow |
| 機器學習與 AI | 模型訓練與 LLM 工作流 | MLflow, Databricks Runtime for Machine Learning |
| 分析與 BI | 查詢、儀表板、語意層 | SQL warehouses, AI/BI dashboards, Genie Spaces |
| 治理與共享 | 權限控管與安全分享 | Unity Catalog, OpenSharing |
| 串流分析 | 增量與即時資料 | Structured Streaming, Delta Lake |
| OLTP | 交易型資料庫 | Lakebase Postgres |
1. Lakehouse：先把資料收成一份
訂閱 AI 趨勢週報
每週精選模型發布、工具應用與深度分析，直送信箱。不定期，不騷擾。
不會寄垃圾信，隨時可取消。
Azure Databricks 的核心是 lakehouse，把資料湖的彈性和資料倉儲的分析能力放在一起。實際好處很直接：少複製、少同步、少出現版本不一致。
當同一份資料要同時支援報表、模型訓練與營運查詢時，這種結構最省事。你不必為不同團隊再維護幾套平行資料堆疊。
- 工程師、分析師、資料科學家共用同一來源
- 減少指標定義不一致
- 可接既有雲端儲存與企業資料
2. ETL 與資料工程：把批次管線做穩
在資料擷取與轉換上，Azure Databricks 結合 Spark、Delta、SQL、Python 與 Scala，也提供 Lakeflow 與 Auto Loader 來處理排程與增量送入。
這一層最適合重視可重複、可擴充管線的團隊，而不是只靠零散腳本拼湊。從雲端物件儲存到可用資料模型，Databricks 盡量把中間摩擦壓低。
- Auto Loader 做增量、可重跑的擷取
- Jobs 支援排程與部署
- 宣告式管線處理相依性與擴充
3. 機器學習與生成式 AI：模型工作留在資料旁邊
Azure Databricks 透過 MLflow 與 Databricks Runtime for Machine Learning，補齊實驗追蹤、模型管理與開源套件整合。對資料科學家和 ML 工程師來說，這代表訓練、記錄、部署可以在同一環境完成。
平台也支援 Hugging Face、DeepSpeed、OpenAI 模型與合作夥伴方案。若你要用自家資料微調模型，Databricks 的優勢是能直接接在資料管線旁邊，不必再搬到另一個 AI 堆疊。
文中提到的例子：
- 用 MLflow 追蹤 transformer 管線
- 在 Databricks Runtime for Machine Learning 中跑 Hugging Face Transformers
- 讓 SQL 使用者透過 AI functions 呼叫 LLM4. 分析與 BI：讓商業使用者直接查資料
對分析師與商業使用者，Azure Databricks 提供 SQL warehouses、notebooks 與 AI 輔助儀表板。你可以用 SQL、Python、R 或 Scala 查詢資料，並在同一工作區加入視覺化與註解。
它同時強調 Unity Catalog 的商業語意、metric views 與 Genie Spaces。這組合的目的，是讓 KPI 定義保持一致，同時保留自然語言提問的彈性。
- SQL warehouses 提供受管理的查詢運算
- AI/BI dashboards 方便快速做圖表
- Genie Spaces 支援自然語言探索
5. 治理與共享：先管好權限，再談擴散
治理層由 Unity Catalog 負責，包含權限、資產管理與安全分享。管理者可透過 UI 或 SQL 設定 ACL，減少每個團隊都要各自拼雲端 IAM、網路與授權的麻煩。
在交付與維運上，Azure Databricks 也加入 Bundles、Git folders 與 Jobs。這讓版本控管、排程與部署更接近一般軟體工程流程。
- ACL 式權限管理
- OpenSharing 用於受控外部分享
- Git 整合支援開發流程
- Jobs 與 Bundles 負責部署與編排
6. 串流與 OLTP：不只批次，還能即時
Azure Databricks 也處理即時與交易型需求。Structured Streaming 搭配 Delta Lake，可做增量資料處理；Lakebase 則把完整代管的 Postgres OLTP 資料庫帶進 Databricks Data Intelligence Platform。
這表示平台不只適合分析。若你需要串流管線，或想把營運資料庫與分析、AI、治理放在同一套環境，這兩個能力就很關鍵。
哪種適合你
如果你的首要目標是分析與共享治理，先看 lakehouse、Unity Catalog 和 SQL warehouses。若團隊重點是資料管線，Auto Loader 和 Lakeflow 會是最先要試的功能。
若你同時要 ML、LLM、排程、BI 與串流，Azure Databricks 的價值就會更明顯。它最適合的是那種「一份受治理資料，要供很多人、很多工作負載共用」的團隊。