AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 晶片與算力出版

返回文章列表

Akamai 買進數千顆 NVIDIA Blackwell GPU:把推理搬進 4,400 個全球邊緣據點

本頁內容6 個段落
  1. 為什麼推理需要另一套算力佈局
  2. 「分散式神經系統」由哪些東西組成
  3. 官方帳面:延遲最多改善 2.5 倍、成本最多降 86%
  4. 從 CDN 與 Linode,一路走到推理雲
  5. 開發者與平台團隊該注意什麼
  6. 資料來源

摘要: Akamai 於 2026 年 3 月 3 日表示已購入數千顆 NVIDIA Blackwell GPU,將部署到自家分散式雲端。文章描述的架構包含這套雲端,以及超過 4,400 個據點的邊緣網路。官方宣稱延遲最多改善 2.5 倍、成本最多降 86%,但比較基準與工作負載未公開。

2026 年 3 月 3 日,Akamai 對外宣布已購入數千顆 NVIDIA Blackwell GPU,將部署到自家的分散式雲端,目標是打造「全球分佈最廣的 AI 平台」之一。這樁消息的核心不在訓練,而在推理。

這家靠 CDN 起家的公司,押注的方向很明確:AI 的重心正從集中式訓練,轉向離使用者越來越近的推理。Akamai 引用 MIT Technology Review 的調查,56% 的組織認為延遲是大規模部署 AI 的頭號障礙。Data Center Dynamics 隔天跟進報導,補充了一個細節:確切數量並未公開。

為什麼推理需要另一套算力佈局

Akamai 的論述相當直白:第一波 AI 把訓練集中在一小撮超大雲 region;如今模型要真正走進自動送貨、智慧電網、手術機器人、即時詐欺偵測這些場景,決策就得以真實世界的速度進行——把請求送到遠端 region 再繞回來,沿途的延遲與 egress 成本,正是新的瓶頸。

營運長 Adam Karon(同時兼任 Cloud Technology Group 總經理)的說法是:超大雲會繼續把訓練推向極限,Akamai 要專注的則是「推理時代」——集中式的 AI 工廠依然不可或缺,但要把應用推到規模化,需要的是一套「分散式神經系統」,把推理算力送到「街角與病床邊:工作發生的地方、資料所在的地方、ROI 實現的地方」。

「分散式神經系統」由哪些東西組成

攤開來看,這套組合是:NVIDIA RTX PRO 伺服器(搭載 RTX PRO 6000 Blackwell Server Edition GPU)配上 BlueField-3 DPU,再疊上 Akamai 自家的分散式雲端,以及遍佈全球、超過 4,400 個據點的邊緣網路。平台統一提供三種能力:在專用 GPU 叢集上跑可預測的高效推理;就地微調 LLM,讓資料留在區域內,滿足隱私與合規;用私有資料做後訓練優化。說白了,這是一套把「模型放置」當成變數的編排系統,把推理工作負載路由到離使用者最近的據點。

官方帳面:延遲最多改善 2.5 倍、成本最多降 86%

官方的算法是:與傳統超大雲架構相比,用 NVIDIA AI 基礎設施跑推理,延遲最多改善 2.5 倍,成本最多節省 86%。這兩個數字先當行銷口徑看——比較基準與工作負載都未公開,實際結果因場景而異;但方向說得通:推理吃的就是就近運算與更少的 egress,而「把位元搬到離使用者最近的地方」正是 CDN 做了二十多年的本業,如今只是把 GPU 一起搬過去。

需求端的訊號同樣值得留意:Akamai 表示首批部署已見「需求強勁」,之後會持續擴充 GPU 容量——邊緣推理早已跨過概念驗證階段,成為有人排隊等著用的產品。

從 CDN 與 Linode,一路走到推理雲

這條路鋪了好幾年:2022 年以約 9 億美元收購 Linode,補上 IaaS 基礎;2025 年 10 月推出 Akamai Inference Cloud。這回大規模採購 Blackwell,是同一條軌跡的延伸——把 CDN 的全球連線與快取,疊上 GPU 叢集與 DPU,組出一套與超大雲正面競爭推理需求的替代架構。

開發者與平台團隊該注意什麼

三個觀察。第一,推理開始擁有自己的供應商光譜:訓練是超大雲與主權叢集的戰場,推理則可能被 Akamai 這類分散式網路業者切走一塊,尤其是對延遲與資料落地敏感的代理式 AI、實體 AI,以及合規微調場景。第二,LLM 路由以後不只要選模型,還得選推理位置。第三,成本結構正在改變:86% 的節省不會全數反映在帳單上,但 egress 費用與延遲懲罰是現今 AI 帳單裡最隱形的兩個項目,選型時值得親自實測。

資料來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Nvidia 縮手:OpenAI 資料中心貸款擔保從 2,500 億美元砍至 1,200 億以下

    《華爾街日報》報導 Nvidia 縮減 OpenAI 資料中心債務擔保,初期將低於 1,200 億美元,遠低於 7 月談及的 2,500 億美元;交易僅有備忘錄,縮水被視為對股東的訊號,循環融資疑慮浮上檯面。

    NVIDIA

  2. Reflection 與 Nebius 簽 10 億美元算力合約

    開源模型公司 Reflection AI 與 GPU 雲 Nebius 簽下 10 億美元算力合約,取得 NVIDIA 最新晶片;這是它三週內第二筆超大單,顯示前沿算力已是新創最貴的入場券。

    AI Infrastructure

  3. NVIDIA 的硬體級 AI 安全:如何在保護資料的同時不拖慢推論速度

    NVIDIA 推出 Confidential Computing 解決方案,強調在 AI 推論期間保護資料,同時維持高效能。本文探討其對產品建構者的意義與取捨。

    AI Infrastructure