摘要： NVIDIA 在 2026 年 3 月 11 日開源 Nemotron-3-Super-120B-A12B，採 1,200 億總參數、120 億活躍參數和 100 萬 token 上下文。釋出內容包含權重、資料集、RL 環境、評測配方和技術報告，通路涵蓋 build.nvidia.com 與 Hugging Face；Bedrock 和 Azure 標示即將上線。第三方量測顯示智慧分數落後前沿模型，但每秒 478 個 token 的輸出創下 Artificial Analysis 紀錄，反映吞吐優先取捨。
NVIDIA 在 2026 年 3 月 11 日以開源形式端出 Nemotron-3-Super-120B-A12B:總參數 1,200 億、每次推論只動用其中 120 億的混合 MoE 設計,上下文視窗一舉拉到 100 萬 token。這款模型從不打算競逐「最聰明」的寶座:第三方量到的智慧分數明顯追不上 Gemini 3.1 Pro 和 GPT-5.4,輸出卻衝到每秒 478 個 token,寫下 Artificial Analysis 史上最快的量測紀錄。NVIDIA 的盤算攤在檯面上:走到 Agent 時代,卡住大家的早已不是單題作答的聰明程度,而是長任務、多輪呼叫一路累加的推論開銷。
就家族順位來說,它是 Nemotron 3 系列的第二款,與 2025 年 12 月現身的 Nemotron 3 Nano(30B)前後只差 86 天,發表時點就落在 GTC 開幕前的那一週。
趕在 GTC 登場前出的開源牌
The New Stack 抓到一個耐人尋味的細節:原本規劃的規格是 100B 總參數配 10B 活躍參數,定案卻放大成 120B/12B,正好與 OpenAI 的 gpt-oss-120B 短兵相接。2026 年的開源模型市場早已打成正面對決(路線分歧我們在開年觀察裡談過),NVIDIA 的應對是把「開放」做到更底:端出權重不夠,連資料集和訓練環境都跟著交出來。
架構上的賣點:Mamba 混搭 Latent MoE
這款模型的競爭力來自幾項架構設計:
- Latent MoE:每回推論喚起 4 個專家,帳面成本卻只計 1 個
- Mamba-Transformer 混合層:官方說法是記憶體與運算兩方面的效率都達到純 Transformer 的 4 倍,長任務要持續追蹤上下文時更吃香
- Multi-Token Prediction:官方宣稱推論速度提升 3 倍
- 100 萬 token 的上下文容量,大型 codebase 能一口氣整份裝進去
這些選擇其實都在回應同一個難題:Agent 場景的「上下文爆炸」。按 NVIDIA 的估計,agent 單一步驟產出的 token 量最高是一般對話的 15 倍;推理模型還要再抽一筆「思考稅」,幾輪工具呼叫疊下來,成本便像複利一樣越滾越大。
官方效率宣稱與第三方實測
官方攤出的數字相當搶眼:跟前一代 Nemotron Super 相比,吞吐量最高增至 5 倍、準確度提高 2 倍;搬上 Blackwell 以 NVFP4 執行時,速度比 Hopper 上的 FP8 快 4 倍,精度毫髮無傷;對上 Qwen3.5-122B 則握有 7.5 倍的推論吞吐優勢,而且 NVIDIA AI-Q 靠它把 DeepResearch Bench 前後兩代評測的榜首全數拿下。
第三方交出的成績單冷靜許多:Artificial Analysis 評給它的智慧分數為 36,比 gpt-oss-120B 的 33 高出一些,距離 Gemini 3.1 Pro 與 GPT-5.4 的 57 卻還很遠,同時排在 Qwen3.5-122B、DeepSeek V3.2 與 GLM-5 之後。速度倒是沒有打折:478 tokens/s 是該機構歷來量到的最高輸出,居次的 gpt-oss-120B 只有 264。這是擺明了拿智慧換吞吐;但當一個任務得連續呼叫工具幾百次,這筆交換反而站得住腳。
這波開源實際給了什麼
論這次「開放」的幅度,NVIDIA 壓過大多數對手:
- 模型權重,授權採 NVIDIA Nemotron Open Model License
- 前訓練與後訓練資料集,總量超過 10 兆 token(其中包含前沿推理模型產生的合成資料)
- 15 個 RL 訓練環境,附上評測配方與完整技術報告
- 經由 NeMo 微調的完整路徑
取得通路也夠多:build.nvidia.com、Hugging Face、OpenRouter(現階段免費)、Perplexity 都能直接拿到,企業端可透過 Google Vertex AI 與 Oracle Cloud(Bedrock、Azure 標示即將上線);另外它也打包成 NIM microservice,多雲環境與地端自架都適用。
開發者與平台團隊該如何解讀
第一層意義:「夠聰明、速度極快、還能自己架」這組合對得上真實需求,Perplexity、CodeRabbit、Factory、Palantir、Cadence 等已經導入,場景集中在一次載入整包 codebase、消化長文件,以及穩定完成工具呼叫。第二層:釋出內容含資料集與 RL 環境,微調的人得以沿原路徑重現訓練過程,而不是只捧回最終權重,對想做領域特化的團隊來說差別具體。第三層:更大的 Nemotron 3 Ultra(550B)還排在前方;只要它沿用同一套取捨邏輯,開源與閉源前沿之間的距離,會持續拿「效率」當量尺,而不是比「分數」。