摘要： NVIDIA 在 2026 年 11 月 5 日發表的 Into the Omniverse 系列裡，展示了九個由開發者用 frontier AI models（主要是 GPT-6 Astra，部分搭配 Claude 與 Opus）驅動 Omniverse libraries 建模擬應用的案例。做法是用自然語言下指令，讓 agent 解讀 CAD 檔、產品文件、全景照片，產出帶關節與碰撞幾何的 OpenUSD 資產，再寫程式串接物理、渲染與串流。對產品團隊的意義在於：從實體世界輸入到可編輯、可測試的數位雙生，中間的組裝工作開始可以被 agent 吃掉。
機制：指令進、OpenUSD 出
整條 pipeline 的分工很清楚。開發者用自然語言描述目標、審查結果、引導修改；Omniverse libraries 提供 GPU 加速的物理、渲染與感測器模擬。Agent 負責翻譯：把 CAD 檔轉成 OpenUSD、比對參考圖調整外觀、設定關節與碰撞幾何，然後寫應用程式碼串接各個 library——物理用 ovphysx、場景更新用 ovstage、RTX 渲染用 ovrtx、介面用 ovui、瀏覽器串流用 ovstream。
這個寫碼串接 library 的部分，其實就是 coding agent 的典型工作模式，只是對象從網頁後端換成了 3D 模擬。我之前寫過 Runtime（YC P26）把沙盒化 coding agents 開放給整個團隊，同樣的分工邏輯——人下方向，agent 產碼，人驗收——在實體模擬領域正在重演。
四個案例的具體輸出
幾個案例值得細看，因為它們各自對應一種常見的輸入：
- 產品文件與圖片：NVIDIA BondLab 的 senior technical artist Nick Scarcella 用 Astra 依產品照片、說明書和技術指引重建了一台 OP-1 攜帶式合成器，匯出成 OpenUSD，在 Houdini 與 Blender 驗證，再用 Astra 和 Opus 修細節，最後針對 ovrtx 調材質與貼圖。
- CAD 檔：NVIDIA 的 OpenUSD senior product manager Jens Jebens 指示 Astra 在 PTC Onshape 建一台車的懸吊系統，放進 Isaac Sim 設定。他根據模擬回饋修改工具設計——包括一支為了碰到懸吊螺栓而重新設計的扳手——並回報在模擬中成功拆下一個懸吊零件。
- 現場掃描：NVIDIA 模擬技術團隊的 David Wehr 用 Astra 解讀全景照片、生成建築幾何並對齊點雲測量，做出一份移除貨架與機器後的可編輯建築模型，方便反覆測倉庫佈局。
- 既有資產庫：在 GTC Berlin 發表的 SimReady Central Library 提供超過 2,000 個 simulation-ready USD 資產。NVIDIA 文件團隊的 Paul Kind 用 agent 對話式組裝廚房場景：180 個擺放、來自 63 個獨特資產，外加 18 個自製幾何件。
工業端還有一個氣渦輪數位雙生：developer relations 的 Pradeep Kaushik 讓 Astra 用 Cantera 做熱化學、SciPy 做設備動力學，建出一個 what-if 應用，可調負載、環境溫度、燃料成分，內建六套測試程序，涵蓋負載變動、燃油閥卡死與排氣感測器錯誤。
規模壓力測試給出的數字
NVIDIA principal engineer Bhavik Sanganee 的倉庫案例把「效能去哪了」變成可量測的問題。場景規模加倍時，效能首次跌破目標；把物理運算、圖像渲染和影片準備並行跑之後，效能恢復並繼續擴充。最終在 80 條輸送帶、40 機械臂、800 個箱子的規模下，全 HD 解析度維持 30 frames per second 跑完兩分鐘測試，機械臂完成 640 次成功抓放。
再把場景加倍一次，效能又掉了。測試把瓶頸定位到物理與機械臂控制 pipeline——這正是模擬工程裡最難的一段：不是「能不能跑」，而是慢下來時知道該修哪裡。
目前明說的限制
NVIDIA 在幾個案例裡自己標註了邊界，這些比成功案例更值得記住。ABB YuMi 機械臂的案例中，CAD 轉出來的資產完成了四個方塊抓放循環，但文章明確寫著：估計的物理性質沒有對照實體機器人校準。Oyindamola Omotuyi 的軟性線材路由案例也一樣——controller 用的是模擬直接提供的資訊，下一步才要改用實體機器人能從相機與感測器取得的資料，並測試摩擦固定的抓取。
換句話說，這些是模擬內的驗證，不是實體世界的驗證。來源也沒有提供這類 agent 工作流相對傳統開發流程的時間或成本節省數據。另外要說明：來源頁面的文字在 Doyub Kim 的自動駕駛段落中途被截斷（他的 Zero to Alpamayo 專案以舊金山 Market Street 為基礎建可重複使用的模擬環境，但後續細節未見），所以我不會對該專案的完成度下任何結論。
下一步可以查什麼
如果你的團隊有 CAD 資產或廠房掃描，最直接的動作是去看 SimReady Central Library 和五步驟的 SimReady 轉換教學，先用一個零件走完「CAD 轉 OpenUSD、設定關節與碰撞幾何、通過 SimReady Foundation 要求、進 Isaac Sim 測試」的完整流程。Jebens 的案例還示範了一個容易被忽略的用法：agent 不只建場景，也能根據模擬回饋反過來修改工具設計。把效能基準線也一起量起來——Sanganee 的經驗說明，擴充規模時瓶頸通常落在物理與控制 pipeline，而這必須先有數字才知道。