摘要: Ollama 0.30 在 6 月 5 日更新,擴大 GGUF 模型支援,並預設啟用 Vulkan。官方宣稱 NVIDIA 硬體吞吐量最高提升 20%,但測試只綁 Gemma 4 26B、RTX 5090 和 Q4_K_M 量化,也未附 Vulkan 與原生後端的比較數據。支援 tool calling 的 GGUF 模型匯入後可保留該能力,降低本地 coding agent 的設定門檻。
Ollama 0.30 在 6 月 5 日問世,改動集中在引擎層:效能調校與 GGUF 模型支援,藉由 llama.cpp 的演進同步向前。版本裡看不到搶眼的新功能,真正的目標是降低「在本機執行模型」的麻煩——Apple silicon 上的 MLX engine 得到強化,其餘平台則靠 GGUF 引擎換來更廣的模型涵蓋與更高的執行速度。
NVIDIA 最多快 20%:數字背後綁著一組測試條件
官方部落格最搶眼的帳面成績,是 NVIDIA 硬體的吞吐量最多可以增加 20%。讀這個數字,順序上要先看測試條件、再看幅度:成果出自 NVIDIA 團隊與 llama.cpp 維護者合作的優化,量測組態為 Gemma 4 26B 模型搭配 RTX 5090 與 Q4_K_M 量化。「最高」和「單一組態」得放在一起解讀——模型、量化或顯示卡任一項改變,都不保證重現同樣數字;但這些優化直接進了 llama.cpp 上游,會隨引擎交到每位使用者手上,不只停在展示環境。
Vulkan 轉為預設:GPU 加速這條路不再有安裝門檻
若論採用體驗,Vulkan 改成預設啟用比那 20% 更有感。以前想在 AMD 或 Intel GPU 上打開加速,得先裝好廠商專屬函式庫,而裝庫這一步經常就是流程中斷之處;如今 GPU 加速不必設定就能使用,受惠硬體明顯變多。要留意:官方貼文沒附 Vulkan 與各原生後端的效能比較數據,對吞吐有極端要求的重度使用者,仍該自己實測再挑後端;多數只是「先把模型跑起來」的情境,預設這條路已經足以應付。
GGUF 支援範圍變寬,Hugging Face 匯入三步搞定
模型生態這一側,GGUF 的相容範圍明顯增長:LFM、Prism 等新興家族,連同 Unsloth 推出的 fine-tuned 模型,如今拿來即可執行,無須苦等官方模型庫納入,也不必自己寫轉換腳本。要從 Hugging Face 匯入自行下載的 GGUF,作法仍遵循 Ollama 一貫習慣:
FROM ./my-model.Q4_K_M.gguf
ollama create -f Modelfile my-model
ollama run my-model
Modelfile 的 FROM 指向 GGUF 檔案(或收著 GGUF 檔案的目錄),create 跑完,用 run 叫起來的方式跟模型庫裡任何模型沒有兩樣。免轉檔腳本、免後端設定——這次更新對日常工作流做得最直接的一次減法。追逐新模型的團隊連等待也省了:fine-tune 生態每週冒出新版本,以往二選一——等官方模型庫收錄,或自己維護轉換腳本——現在都收斂成一行 FROM,從模型問世到本機能用,中間不再有加工環節。
Tool calling 帶得過來:本地模型照樣能驅動 coding agent
開發者最有感的一條:GGUF 模型本身若具備 tool calling,這項能力會原封帶進 Ollama,不會因匯入而流失。先用 ollama show my-model 看輸出裡有沒有 tools capability;確認後,本地模型就能墊在 coding agent 或 personal assistant 底下運作。官方示範的指令寫法是 ollama launch claude --model my-model,hermes 跟 openclaw 也比照辦理。上線順序建議:以 show 核實 capability,用 launch 接上 agent,最後丟一個小任務做端到端檢查——比方叫 agent 呼叫簡單工具、檢查回傳——三步都過才進正式流程。
(此段為我的詮釋)這條路的價值在把選擇權還給使用者:coding agent 底下的模型來源不必綁死雲端 API,隱私或成本敏感的情境多出本地選項。話說回來,工具呼叫品質終究由模型決定,匯入前核對 capability、匯入後以小任務試跑,兩道把關缺一不可。
把短公告讀老實:哪些是廠商說法、哪些沒有答案
公告篇幅不長,讀的時候有幾個誠實前提要擺著:20% 來自廠商自述、綁在單一組態上,至今沒有獨立驗證背書;Vulkan 實際效能如何、GGUF 目錄內有多個檔案時會挑哪一個,公告都沒展開,只能靠社群實測補齊。升級建議於是很直接:NVIDIA 使用者裝完先用自己的模型跑過一輪 benchmark 之後再下結論;AMD 與 Intel 使用者確認 GPU 真的被用上;要匯入的 GGUF,先用 ollama show 查 tool calling 在不在。0.30 的價值不在數字多亮眼,而在把本地模型工作流的三大摩擦點——安裝門檻、模型相容、agent 整合——各削掉一層。
