摘要： Moonshot 發表 Kimi K3，這款 2.8T 參數的 MoE 模型具備原生視覺與 100 萬 token context。官方明言整體仍落後 Claude Fable 5 與 GPT 5.6 Sol，並承諾 2026 年 7 月 27 日前釋出完整權重。API 定價為快取命中輸入每百萬 0.30 美元、未命中 3 美元、輸出 15 美元。
Moonshot 端出 Kimi K3，一款總參數達 2.8T 的 Mixture-of-Experts 模型：原生視覺、100 萬 token context，並寫下全球第一個開源 3T 級模型的紀錄，主攻長程 coding、知識工作與推理。發布資訊中有一點很值得先畫記號：官方自己講明，整體而言仍落後最強的專有模型 Claude Fable 5 與 GPT 5.6 Sol；不過在自家設計的評測套件裡，它已站上 frontier 水準，對其他受測模型則穩定取勝。完整權重承諾會在 2026 年 7 月 27 日前釋出，架構與訓練的細節則等技術報告一併交代。
架構設計：Delta Attention、Attention Residuals 與 Stable LatentMoE
撐起 K3 骨幹的是兩項架構改動。Kimi Delta Attention（KDA）替 attention 在序列長度方向上的擴展打下高效基礎；Attention Residuals（AttnRes）改變了表徵跨深度傳遞的方式，讓它做「選擇性檢索」，而不是逐層均勻累加。稀疏化走 Stable LatentMoE 路線：896 個專家之中實際有效啟動 16 個，再以 Quantile Balancing 直接從 router 分數的分位數推導出專家分配、把敏感的平衡超參數拿掉，並靠 Per-Head Muon 讓每個 attention head 各自獨立優化，處理這個規模下路由與訓練穩定的一階難題。官方說法是，整體 scaling 效率相對於 K2 約有 2.5 倍提升。
工程層面的安排也值得一提。訓練從 SFT 階段就納入 quantization-aware training（權重用 MXFP4、激活用 MXFP8），換取硬體相容性；在大規模 expert-parallel 環境下，改用靜態形狀、不需要主機同步的全平衡訓練法，免得專家負載不均衡拖慢吞吐；KDA 與傳統 prefix caching 並不相容，團隊索性把對應實作貢獻回 vLLM 社群，跟模型一起發布。部署上，官方建議採 supernode 組態、加速器 64 卡以上。
Coding 實測：從 GPU kernel 一路做到整顆晶片
長程能力靠幾個案例來展示。GPU kernel 優化測試讓各模型在相同沙盒裡獨立作業、作業上限 24 小時，四個優化任務橫跨 NVIDIA Hopper 與另一家供應商的 GPGPU；結果 K3 與 Fable 5（含 fallback，由第三方評估）旗鼓相當，且明顯領先 Opus 4.8、GPT 5.6 Sol 與 GPT 5.5。
難度再上一階的是 MiniTriton：K3 從零寫出一套 Triton 式編譯器，內含建在 MLIR 之上的 tile 級 IR、優化 passes 與 PTX code generation；在支援的 roofline 基準上與 Triton、torch.compile 打平甚至更好，部分 workload 能壓過 Triton，也能端到端跑完 nanoGPT 訓練、loss 曲線與參考線幾乎貼合。晶片設計則是一段 48 小時全自主 run：使用開源 EDA 工具，在 Nangate 45nm 上為自家架構的 nano model 設計晶片，於 4 mm² 面積內達成 100 MHz 時序收斂，模擬中足以支撐每秒 8,700+ tokens 解碼，內含 1.46M 標準單元與 INT4 MAC 陣列。
科學運算同樣拿得出實例。重現計算天文物理的 I–Love–Q 關係時，K3 花約兩小時就完成資深研究者一至兩週的份量：交叉驗證 20+ 篇論文、實作完整數值管線、評測 300+ 組 state equations、揪出已發表公式裡的矛盾，還產出 3,000+ 行 Python 與互動式儀表板。
知識工作應用：互動式研究報告與 Widgets
放進 Kimi Work 場景，官方示範了三個案例：其一是 42 年 ASIC 產業研究的互動網站，過程中歷經 120+ 輪遞迴自我改進、2.8k+ 次網頁搜尋抓取、1.1k+ 次終端機資料拉取，素材涵蓋 87 份季報與 99 份原始 PDF；其二是融合能產業的顧問級報告，產出時間軸、甘特圖與漏斗圖；其三是以 20+ 併發 subagents 分析 391 個重力波事件。周邊配套新功能包括 Widgets（在聊天中生成互動元件，可串接本地資料與外部插件）與 Dashboard（把重要 widgets 組成持久檢視）。影片編輯也被官方點名：K3 以 56 個素材剪出自己的預告片，包含動作匹配剪接與逐格節拍同步，官方估計這種密度的工作量，大約等於資深剪輯師一至兩個工作日。
上線通路與定價
通路方面，K3 已進駐 Kimi App（iOS/Android/HarmonyOS）、Kimi Work 桌面版（3.1.0+）、Kimi Code（終端機以 /model 切換）與 Kimi API Platform（模型名稱 kimi-k3）。API 定價為 cache-hit input $0.30/MTok、cache-miss input $3.00/MTok、output $15.00/MTok；其下層是 Mooncake 分離式推理架構，官方稱 coding 工作負載的 cache 命中率超過 90%，這正是輸入單價得以壓低的立足點。企業版則提供個人與組織帳號完全分離的資料隱私與成員管理。
導入前的現實檢查
有三件事得先想清楚。第一，官方自己都說整體仍落後 Fable 5 與 GPT 5.6 Sol——換言之「開源最強」不等於「最強」；選型時要按任務去對照 benchmark，同時注意評測條件：max reasoning effort、溫度 1.0，而且各家 harness 互不相同，像 Fable 5 在 SWE Marathon 評測中就有 35% 任務觸發 fallback。第二，部署門檻是實實在在的：建議 64 卡以上 supernode，而 KDA 的 prefix cache 必須用上其 vLLM 貢獻版本才有效率。第三，預設即為 max thinking effort，代表成本與延遲都按最高檔計算，low/high 模式要等後續更新才提供——初期導入的成本估計應以 max 為準。