[IND] 6 分鐘閱讀OraCore 編輯部

NVIDIA 與微軟把代理式 AI 串到雲端與 PC

5 個重點看懂 NVIDIA 與微軟如何把代理式 AI 從 Windows PC、Azure 到地端整合,並比較效能、記憶體與部署場景。

分享 LinkedIn
NVIDIA 與微軟把代理式 AI 串到雲端與 PC

NVIDIA 與微軟把代理式 AI 串到 Windows PC、雲端與地端,讓開發、推論和部署可以在同一套架構裡完成。

這份清單看完,你可以快速判斷 5 種部署路線該選哪一種:是先在個人電腦上做原型、在企業工作站跑重模型,還是直接走 Azure、地端或資料中心級基礎設施。

項目運行位置關鍵規格
RTX SparkWindows 裝置1 petaflop AI 效能,最高 128GB 統一記憶體
DGX Station for WindowsWindows 桌機最高 20 petaflops FP4,最高 748GB 一致性記憶體
Microsoft Fabric Data Warehouse雲端資料層SQL 執行最高比 CPU 基準快 6 倍
Azure Local 搭配 RTX PRO 6000 Blackwell Server Edition地端與主權部署支援多節點與 vLLM 執行環境
Vera Rubin on AzureAI 工廠每百萬瓦推論吞吐量最高提升 10 倍

1. RTX Spark:把代理式 AI 放進 Windows 個人機

訂閱 AI 趨勢週報

每週精選模型發布、工具應用與深度分析,直送信箱。不定期,不騷擾。

不會寄垃圾信,隨時可取消。

NVIDIA微軟把 RTX Spark 定位成給開發者用的個人 AI 機器,重點不是取代資料中心,而是讓代理式 AI 可以先在本機完成建置、調校與執行。對想在 Windows 上直接跑本地代理的人來說,這是最接近「隨手可用」的路線。

NVIDIA 與微軟把代理式 AI 串到雲端與 PC

它的規格很明確:1 petaflop AI 效能、最高 128GB 統一記憶體,還主打未插電也能維持完整 AI 與圖形效能。這讓它適合小型團隊、獨立開發者,或需要常帶著走的原型機。

  • 支援 CUDA、RTX、DLSS、TensorRT
  • 將由 Microsoft Surface、ASUS、Dell、HP、Lenovo、MSI 等品牌推出
  • 適合本機測試提示詞、工具呼叫與輕量代理流程

2. DGX Station for Windows:把重模型搬到桌邊

如果 RTX Spark 是個人機,DGX Station for Windows 就是面向企業工作流的桌邊級方案。它的定位是長時間運作的代理與模型開發環境,特別適合需要在本機處理更大模型、更多上下文與更重推論負載的團隊。

官方釋出的數字也更像工作站而不是一般 PC:GB300 Grace Blackwell Ultra Desktop Superchip、最高 748GB 一致性記憶體、20 petaflops FP4 效能。這代表它能承接更接近前沿模型的本地推論與開發需求。

  • 預計由 ASUS、Dell、GIGABYTE、HP、MSI、Supermicro 在第 4 季推出
  • 支援最高 1 兆參數模型
  • 搭載 NVIDIA OpenShell 安全執行環境

3. Microsoft Foundry:把多家模型放進同一個代理平台

Microsoft 的 Foundry 正在變成企業組裝代理系統的中樞,而不是只放單一模型的展示櫃。NVIDIA 表示,它的開放模型已經和 AnthropicOpenAI 模型一起進入 Foundry Agent Service,企業可以在同一套治理與身分控管下組合不同能力。

NVIDIA 與微軟把代理式 AI 串到雲端與 PC

其中最受注意的是 Nemotron 3 Ultra,這是一款面向程式設計、研究與企業工作流的開放前沿推理模型。再加上 Nemotron 3.5 ASR、Nemotron 3.5 Content Safety、Cosmos 3 與 Earth-2,Foundry 的角色就不只是聊天,而是把語音、內容安全、物理 AI、天氣預測都納進代理流程。

  • 支援管理式運算與企業治理
  • 可搭配 Agent Toolkit 與 NemoClaw 藍圖做生產部署
  • Anthropic Claude 也可在 Azure 的 NVIDIA GB300 Blackwell Ultra 系統上原生執行

4. Fabric 與 Azure Local:資料速度和地端控制一起補齊

代理式 AI 會一直查資料、反覆推理、重複檢索,所以資料層不能慢。NVIDIA 指出,Microsoft Fabric Data Warehouse 已經整合加速運算,內部測試顯示 SQL 執行速度最高比 CPU 基準快 6 倍,在高併發工作負載下也比另外三家雲端資料倉儲供應商快 7 倍。

如果資料不能離開現場,Azure Local 就是另一條路。微軟把 Foundry Local 帶到 Azure Local,再配上 RTX PRO 6000 Blackwell Server Edition,可支援多節點部署與 vLLM 執行環境,適合製造、能源、主權資料中心與低延遲場景。

適合情境:
- Fabric Data Warehouse:雲端分析與代理查詢
- Azure Local:地端、混合雲、主權部署
- vLLM:需要擴展推論且重視延遲的情境

5. OpenShell 與 Vera Rubin:安全代理和 AI 工廠一起上線

當代理開始真的去動檔案、網路和憑證,安全就不能只靠提示詞。NVIDIA 的 OpenShell 做法是讓每個代理跑在自己的沙箱裡,所有對外呼叫都先經過政策檢查,再決定能不能碰到資源;它也已整合進 GitHub Copilot,並以 Apache 2.0 開源。

另一端則是資料中心級擴張。微軟表示 Fairwater Wisconsin 已經上線並通過 NVIDIA Vera Rubin 驗證,這套平台可直接進 Azure,不必大改機房。NVIDIA 宣稱它每百萬瓦推論吞吐量最高可提升 10 倍,對正在規劃 AI 工廠的人來說,這是下一代基礎設施的重點訊號。

  • OpenShell 採模型無關設計
  • 政策可寫成程式碼並納入版本控管
  • Vera Rubin 可與 Blackwell 一起部署在 Azure 資料中心

怎麼挑:先看你要把 AI 放在哪裡

如果你要的是本機原型與快速迭代,先看 RTX Spark;如果你要在桌邊跑更重的企業模型,DGX Station for Windows 更合適。若你的重點是資料治理、多模型編排與企業代理平台,Microsoft Foundry 加上 Fabric 會是核心。

需要地端、混合雲或主權部署時,Azure Local 會比純雲端更實用;若你最在意代理安全,OpenShell 值得優先評估;如果你正在規劃下一輪大規模推論基礎設施,Vera Rubin 與 AI 工廠架構就是最該追的方向。