AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 編程與開發工具出版

返回文章列表

Ollama 0.30 更新:GGUF 原生支援、NVIDIA 最高 20% 效能提升、Vulkan 預設啟用

本頁內容6 個段落
  1. NVIDIA 最多快 20%:數字背後綁著一組測試條件
  2. Vulkan 轉為預設:GPU 加速這條路不再有安裝門檻
  3. GGUF 支援範圍變寬,Hugging Face 匯入三步搞定
  4. Tool calling 帶得過來:本地模型照樣能驅動 coding agent
  5. 把短公告讀老實:哪些是廠商說法、哪些沒有答案
  6. 資料來源

摘要: Ollama 0.30 在 6 月 5 日更新,擴大 GGUF 模型支援,並預設啟用 Vulkan。官方宣稱 NVIDIA 硬體吞吐量最高提升 20%,但測試只綁 Gemma 4 26B、RTX 5090 和 Q4_K_M 量化,也未附 Vulkan 與原生後端的比較數據。支援 tool calling 的 GGUF 模型匯入後可保留該能力,降低本地 coding agent 的設定門檻。

Ollama 0.30 在 6 月 5 日問世,改動集中在引擎層:效能調校與 GGUF 模型支援,藉由 llama.cpp 的演進同步向前。版本裡看不到搶眼的新功能,真正的目標是降低「在本機執行模型」的麻煩——Apple silicon 上的 MLX engine 得到強化,其餘平台則靠 GGUF 引擎換來更廣的模型涵蓋與更高的執行速度。

NVIDIA 最多快 20%:數字背後綁著一組測試條件

官方部落格最搶眼的帳面成績,是 NVIDIA 硬體的吞吐量最多可以增加 20%。讀這個數字,順序上要先看測試條件、再看幅度:成果出自 NVIDIA 團隊與 llama.cpp 維護者合作的優化,量測組態為 Gemma 4 26B 模型搭配 RTX 5090 與 Q4_K_M 量化。「最高」和「單一組態」得放在一起解讀——模型、量化或顯示卡任一項改變,都不保證重現同樣數字;但這些優化直接進了 llama.cpp 上游,會隨引擎交到每位使用者手上,不只停在展示環境。

Vulkan 轉為預設:GPU 加速這條路不再有安裝門檻

若論採用體驗,Vulkan 改成預設啟用比那 20% 更有感。以前想在 AMD 或 Intel GPU 上打開加速,得先裝好廠商專屬函式庫,而裝庫這一步經常就是流程中斷之處;如今 GPU 加速不必設定就能使用,受惠硬體明顯變多。要留意:官方貼文沒附 Vulkan 與各原生後端的效能比較數據,對吞吐有極端要求的重度使用者,仍該自己實測再挑後端;多數只是「先把模型跑起來」的情境,預設這條路已經足以應付。

GGUF 支援範圍變寬,Hugging Face 匯入三步搞定

模型生態這一側,GGUF 的相容範圍明顯增長:LFM、Prism 等新興家族,連同 Unsloth 推出的 fine-tuned 模型,如今拿來即可執行,無須苦等官方模型庫納入,也不必自己寫轉換腳本。要從 Hugging Face 匯入自行下載的 GGUF,作法仍遵循 Ollama 一貫習慣:

FROM ./my-model.Q4_K_M.gguf
ollama create -f Modelfile my-model
ollama run my-model

Modelfile 的 FROM 指向 GGUF 檔案(或收著 GGUF 檔案的目錄),create 跑完,用 run 叫起來的方式跟模型庫裡任何模型沒有兩樣。免轉檔腳本、免後端設定——這次更新對日常工作流做得最直接的一次減法。追逐新模型的團隊連等待也省了:fine-tune 生態每週冒出新版本,以往二選一——等官方模型庫收錄,或自己維護轉換腳本——現在都收斂成一行 FROM,從模型問世到本機能用,中間不再有加工環節。

Tool calling 帶得過來:本地模型照樣能驅動 coding agent

開發者最有感的一條:GGUF 模型本身若具備 tool calling,這項能力會原封帶進 Ollama,不會因匯入而流失。先用 ollama show my-model 看輸出裡有沒有 tools capability;確認後,本地模型就能墊在 coding agent 或 personal assistant 底下運作。官方示範的指令寫法是 ollama launch claude --model my-model,hermes 跟 openclaw 也比照辦理。上線順序建議:以 show 核實 capability,用 launch 接上 agent,最後丟一個小任務做端到端檢查——比方叫 agent 呼叫簡單工具、檢查回傳——三步都過才進正式流程。

(此段為我的詮釋)這條路的價值在把選擇權還給使用者:coding agent 底下的模型來源不必綁死雲端 API,隱私或成本敏感的情境多出本地選項。話說回來,工具呼叫品質終究由模型決定,匯入前核對 capability、匯入後以小任務試跑,兩道把關缺一不可。

把短公告讀老實:哪些是廠商說法、哪些沒有答案

公告篇幅不長,讀的時候有幾個誠實前提要擺著:20% 來自廠商自述、綁在單一組態上,至今沒有獨立驗證背書;Vulkan 實際效能如何、GGUF 目錄內有多個檔案時會挑哪一個,公告都沒展開,只能靠社群實測補齊。升級建議於是很直接:NVIDIA 使用者裝完先用自己的模型跑過一輪 benchmark 之後再下結論;AMD 與 Intel 使用者確認 GPU 真的被用上;要匯入的 GGUF,先用 ollama show 查 tool calling 在不在。0.30 的價值不在數字多亮眼,而在把本地模型工作流的三大摩擦點——安裝門檻、模型相容、agent 整合——各削掉一層。

資料來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Ollama 推出 ollama launch:一行指令把 coding agent 接上本機 model

    Ollama 於 2026 年 1 月 23 日發表 ollama launch,一行指令自動安裝並設定 Claude Code、OpenCode 與 Codex,讓這些 coding agent 直接對接本機 model。本文解析本地開發工作流在隱私與成本上的實際影響。

    Ollama

  2. Redis 之父 antirez 開源 ds4:跑得動前沿模型的本地推理引擎

    Redis 作者 antirez 用一週寫出 ds4(DwarfStar):MIT 授權、C 語言的本地推理引擎,以 2/8-bit 非對稱量化讓 DeepSeek V4 Flash 與 GLM 模型跑進 96–128GB 的 Mac,內建原生編碼代理,登上 HN 首頁。

    Local AI

  3. Product Hunt 週選:coding agent 變成團隊運動(10/26–11/1)

    本週 Product Hunt 列表聚焦 coding agent 協作、AI 開支管理與五個值得留意的開發者工具。

    Product Hunt