AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 晶片與算力出版

返回文章列表

GR00T 2 登場:機器人先在模擬裡排練精細操作

本頁內容6 個段落
  1. GR00T 2 學到了什麼
  2. Isaac Lab 3.0 與 Newton:模擬是練習場
  3. 評測從桌面走進工業場景
  4. Agentic robotics:把技能串成可審核的程式
  5. 下一步與這些資料沒說的
  6. 參考來源

摘要: NVIDIA 於 2026 年 11 月在德州奧斯汀舉行的 Conference on Robot Learning(CoRL)上,發表開放世界動作模型 GR00T 2、Isaac Lab 3.0 訓練框架,以及 DexBench、VABAR 兩個開放評測基準。這波發表的重點是機器人能力從移動轉向精細操作:在物理夠準的模擬裡大量排練,再把技能搬上實體機器。對想在機器人領域做產品的人而言,這代表硬體採購之前,訓練、評測和迭代的大部分工作可以先用開放工具完成。

GR00T 2 學到了什麼

GR00T 2 建立在 NVIDIA Cosmos 之上,訓練資料涵蓋多樣化的機器人與人類資料,其中包括 NVIDIA 開源的 10 萬小時人類第一人稱(egocentric)資料。幾個具體數字值得記下:它在 50 個評測任務中,不需任務專屬示範就至少完成過 40 個;每個任務只給一則示範時,50 個任務平均成功率 71%,給到五則示範時提升到 95%。它還能把從人類示範學到的技能,轉移到不同的機器人本體上,不必依賴機器人示範資料。

早期採用的訊號已經出現:Nexuni 正用它測試機器人洗衣處理,Foxconn 把它應用在伺服器製造的工廠自動化,Siemens 則在評估多種工業用途。配套的開放工具也在補資料短板——Video to Data 工作流程把人類影片轉成模擬機器人示範,EgoHand 開放模型重建 3D 手部動作,上線兩週在 Hugging Face 已有超過 4 萬次下載。

Isaac Lab 3.0 與 Newton:模擬是練習場

GR00T 2 給機器人核心技能,真正的大量練習發生在模擬裡。Isaac Lab 3.0 的幾項更新直接服務這件事:用 agent 快速搭建含模擬資產的訓練環境、在 PhysX 與 Newton 兩個物理求解器之間切換、為感知訓練選擇渲染器,以及把新的強化後訓練函式庫套用到 GR00T 這類基礎模型上。

物理準確度決定 sim-to-real 的成敗。這次與開源物理引擎 Newton 的整合更緊密,能模擬纜線、布料這類可變形物體,以及多關節互相耦合的機器手。在視覺為基礎的靈巧操作基準上,Isaac Lab 3.0 搭配 Newton 的訓練吞吐量達到 Isaac Lab 2.3 搭配 PhysX 的最多 2.5 倍,而且能平行訓練數千個模擬機器人。Skild AI 也在 CoRL 發表建構在 Newton 上的剛體物理求解器 STEEL,進一步加速 Isaac Lab 的訓練。

成本控制的例子來自 AlphaNIST:單一策略學會 NIST Assembly Task Board 上全部 20 個任務,操作毫米級零件,只靠「成功或失敗」的二元訊號,訓練成功率超過 98%,比逐任務分開訓練的 81% 更高,GPU 時間卻只需約 39 分之 1。背後是華盛頓大學與 NVIDIA 的 Success-Guided Sampling,把練習集中在一個策略成功率約五成的任務上,訓練可擴展到超過一百萬個平行環境。

評測從桌面走進工業場景

學會一個技能和在各種條件下穩定做到,是兩回事。Isaac Lab-Arena 0.4 開發者預覽版讓開發者組合多樣且可重複的評測,平行跑上千種變體,再從失敗分析回推下一輪訓練該修什麼。

兩個新開放基準都建在這套框架上。RLWRLD 與 NVIDIA 合作開發的 DexBench 有 15 個任務,橫跨零售、物流、製造和餐旅四個場景,測試物件、空間與物理變化下的泛化能力;團隊可在 Bifrost 的 Manifold 平台上免設定執行,初始評測有免費額度。UC Berkeley 與 NVIDIA 的 VABAR 則以六個工業任務評測,每個任務都有標準化的變體、難度分級與成功指標。對決策的實際意義是:在挑模型或挑硬體前,先確認哪個基準更貼近你的工作流程。

Agentic robotics:把技能串成可審核的程式

多步驟任務要協調多個技能,出錯時還要能應變,可靠地寫出這類程式仍是難題。UC Berkeley 的 Graph-as-Policy(GaP)框架用 agent 把單項技能連接成機器人程式,在 NVIDIA Isaac 開放模擬技術裡測試並根據失敗改進,產出對工程師來說可審核、可驗證的程式。UC Berkeley 機器人學教授 Ken Goldberg 對此的說法是,對他而言 agentic robotics 是「1995 年網際網路以來最令人興奮的技術發展」。Ambi Robotics、Bosch Research 和 Siemens 都在探索 GaP 的工業應用。

下一步與這些資料沒說的

實際動作清單:

  1. 用 VABAR 或 DexBench 對照你的工業流程(零售、物流、製造、餐旅),確認評測場景貼近實際條件,再決定是否投入訓練算力。
  2. 先用一則人類示範測 GR00T 2 在你的機器人本體上的技能轉移效果,逐步加到五則,觀察成功率曲線再擴大投資。
  3. 若採用 GaP 這類 agentic 流程,把工程師審核機器人程式納入上線前的必要步驟。

幾個限制也要說清楚:這些基準數字來自廠商發表,尚未見同儕審查驗證;GR00T 2 目前的應用仍處於測試與評估階段,資料中沒有實際產線的量化成果。訓練規模再大,sim-to-real 仍取決於物理模型的準確度——這正是 Newton 加入可變形物體模擬的理由,也是你自己驗證時最該盯著的一環。另外,這種規模的訓練背後是持續擴張的算力基礎設施,之前寫過的 NVIDIA 歐洲 AI 工廠算力擴張 是同一條脈絡的硬體面。

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Etched 募得 5 億美元:用 transformer 專用晶片挑戰 NVIDIA

    2026 年 1 月 13 日,Bloomberg 報導 AI 晶片新創 Etched 募得約 5 億美元,由 Stripes 領投、估值約 50 億美元。其 Sohu 晶片採 TSMC 4nm 製程,是專為 transformer 模型設計的 ASIC,直接挑戰 NVIDIA 的通用 GPU。

    AI Infrastructure

  2. 黃仁勳 CES 2026 開場:宣告實體 AI 時代

    NVIDIA 執行長黃仁勳在拉斯維加斯 CES 2026 主題演講宣告「Physical/Embodied AI Era」到來,並介紹下一代 Rubin 平台與自駕相關消息。本文整理演講重點與其對機器人、自駕產業的意義。

    NVIDIA

  3. NVIDIA 捐出 OpenShell 給 CNCF,代理安全進入開源治理

    NVIDIA 在 KubeCon 把 agent 安全執行環境 OpenShell 捐給 CNCF Sandbox,並推出 NVKE、NVKR 與 Snapshot,加快 Kubernetes 上的推理擴展。

    NVIDIA