摘要： NVIDIA 於 2026 年 11 月 8 日發布針對 B200 GPU 最佳化的 Dynamo 部署配方，涵蓋四個韓國領先開源模型：SK Telecom 的 A.X K2、LG AI Research 的 K-EXAONE 2.0、Upstage 的 Solar Open 2，以及 Motif Technologies 的 Motif-3。配方把多 GPU 推理的拓撲選擇、平行策略和核心組態預先調好，NVIDIA 宣稱開箱即可獲得最高 2 倍效能。對需要部署這些模型的團隊來說，重點不再是從零調參，而是核對自己的負載是否落在配方實測的條件範圍內。
多 GPU 推理為什麼需要配方
模型參數量一旦超過單一 GPU 的承載，就必須切分到多顆 GPU 上，這時請求路由與跨節點通訊的協調方式直接決定效能。NVIDIA 在官方部落格中把 Dynamo 定位為開源的分散式推理服務框架，專門處理資料中心規模多節點部署中的這類路由與通訊。
這次發布的配方就是把「框架 + 模型 + 硬體」三者的組合事先驗證一遍。NVIDIA 部落格說法是「take the guesswork out of deployment」，也就是部署時不必再自己試出可行的組態。對產品團隊而言，這類配方的價值不在演算法突破，而在於把一套經過驗證的 YAML、平行策略與核心設定直接交到你手上。
K-EXAONE 2.0 配方給出了具體數字
四個模型中，NVIDIA Dynamo 文件目前只對 K-EXAONE 2.0 提供了完整的實測細節。這是一個總參數 764.5B 的 MoE 模型，每 token 約啟用 37B 參數，256 個專家取 top-8，注意力架構採混合設計：20 層完整注意力加上 58 層滑動窗口注意力。部署時以 NVFP4 W4A4 精度搭配 FP8 KV cache，並啟用 Multi-Token Prediction（draft length 2）。
文件以 Mooncake 聊天軌跡回放（1,805 個請求，8K 輸入 / 1K 輸出）給出兩種拓撲的實測結果：
| 拓撲 | GPU | 並發 | 使用者輸出 tok/s (P50) | TTFT P50 | ITL p50 |
|---|---|---|---|---|---|
| Aggregated | 4x B200（TP4） | 7 | 51.4 | 291 ms | 19.15 ms |
| Disaggregated (1P1D) | 8x B200（4 prefill + 4 decode） | 14 | 54.9 | 2,230 ms | 15.98 ms |
值得注意的取捨：分離式拓撲用雙倍 GPU，換來的是更低的每 token 延遲與 prefill、decode 可獨立擴展，但每 GPU 吞吐量（85 tok/s）跟聚合式（87 tok/s）幾乎持平。文件明確寫出：選分離式是為了延遲與擴展彈性，不是為了吞吐量。如果你的產品是對話式、對 TTFT 敏感，數字會說話——聚合式的 TTFT 中位數只有 291 ms。
上線前要知道的成本與坑
這份配方文件難得地把部署成本攤在檯面上，幾個數字值得先記下：
- 首次啟動要 40 到 120 分鐘：載入 53 個分片、autotune、擷取 CUDA graph。文件提醒這段期間的沉默不代表卡死，要看 worker log 的分片進度。
- 儲存需求：checkpoint 約 530 GB，需要一個至少 700 GB 空間的 ReadWriteMany storage class。
- 上下文上限：軌跡中有 38 個請求超過 262,144 token 的上下文上限，直接回 HTTP 400，並被排除在指標之外。你的流量若有超長輸入，要預期這類硬失敗。
- 一個靜默的正確性陷阱：vLLM 自動選擇的 FLASHINFER_TRTLLM MoE 後端在這個 checkpoint 上會「靜默損壞長文輸出」——輸出流暢、看起來合理、內容錯誤，而且沒有任何錯誤訊號。兩份 manifest 都強制固定為 FLASHINFER_CUTLASS。這是整份文件裡最值得警惕的一條：自動組態不一定安全，長輸出的品質驗證不能省。
- KV 快取命中率不如設計值：工作負載設計上是約 70% 前綴重用，實測只達到 8.8%，因為軌跡的工作集遠超過 TP4 的 KV 容量，區塊在重用前就被逐出。
這對你的部署決策意味著什麼
先說這次資料沒有建立的部分：NVIDIA 部落格對 A.X K2、Solar Open 2 和 Motif-3 三個模型沒有提供任何效能數字或部署細節，「最高 2 倍效能」的宣稱在原始素材中也沒有獨立數據佐證。K-EXAONE 2.0 的基準數字則來自特定工作負載（8K/1K 軌跡回放），不能直接外推到你自己的流量形態。
韓國生態系的動作其實是一連串的：此前韓國國家基金已投資 Rebellions 推動本土晶片（見先前文章韓國國家基金投資 Rebellions 1.66 億美元），這次四家模型公司同時拿到 NVIDIA 官方級的部署配方，是同一條主權 AI 路線的推理端落實。
如果你正在評估這批模型，實際的下一步是：先確認目標模型的配方文件是否已補齊到 K-EXAONE 2.0 這種詳細程度；有的話，拿自己的請求樣本重放一次，對照文件的吞吐與延遲數字，並特別驗證長輸出場景的正確性——畢竟文件自己都示範了自動選錯後端時，壞輸出不會報錯，只會安靜地錯下去。
參考來源
- NVIDIA Dynamo Recipes Bring Korea’s Leading Open Models to Production
- K-EXAONE 2.0 | NVIDIA Dynamo Documentation
在 X 上查看原貼文