AGENTIC COMMONSAI 產業簡報

繁中EN

主題開源模型與開放權重出版

返回文章列表

MiniMax M3.1 Flash 開放自訓練:把 1M 上下文模型調成你的 agent

摘要: Together AI 在 2026 年 10 月 23 日的 changelog 中宣布,MiniMaxAI/MiniMax-M3.1-Flash 已可用於其後訓練服務,支援 LoRA 訓練。這代表你不再只是呼叫 API,而是能用自己的資料、獎勵函數和環境,把這個百萬級上下文模型調整成你需要的 agent 形態。

這次開放了什麼

根據 Together AI 的 changelog,M3.1 Flash 在 B200-SXM GPU 上提供 LoRA 訓練,訓練與抽樣的上下文長度都是 262,144 個 token,LoRA rank 上限 32,每個資源最多三個 adapter session。官方帳號在 X 上的貼文特別強調:訓練迴圈保留在你自己的 Python 程式碼裡,你可以跑 SFT 或 RL,搭配自己的資料、獎勵和環境。

我先前在這篇 M3.1 Flash 的拆解寫過它的 1M 上下文與 effort 控制在推論端的表現。當時它是一個「拿來用」的模型;現在它變成一個「拿來改」的模型。

訓練迴圈在你手上,重活在外部 GPU

Together AI 的後訓練架構和一般上傳資料集等結果的微調服務不同:你的程式碼驅動每一步,外部 GPU 只負責重的運算。每個訓練步驟大致長這樣:

result = session.trainer.forward_backward(
    samples=[sample],
    loss={"type": "LOSS_TYPE_CROSS_ENTROPY"},
)
session.trainer.optim_step(adam_params={"learning_rate": 1e-4})

如果你走 RL 路線,每一步開始時 GPU 會先生成補全,由你的程式碼打分,這些帶分數的補全就成為訓練批次。官方文件指出這讓你能訓練多輪、會呼叫工具的 agent——只要任務的結果可以被檢查,你就能訓練,即使你寫不出訓練範例。

對想做 agent 的團隊,這是實際的差別:你可以針對整個 episode 打分,而不是對單輪回覆做 SFT。計費方式是每 GPU 分鐘,不是每 token,所以成本模型和一般微調完全不同,跑長 episode 的 RL 時要先估算清楚。

幾個動手前的注意事項

從支援模型目錄來看,M3.1 Flash 只支援 LoRA,不支援全參數訓練,建立 session 時要記得設 lora_enabled=True。另外要注意 Max context(262,144)和 Generator context(262,144)一致,但 RL 的 rollout 仍須控制在訓練器的上限內,否則 forward_backward 會拒收過長樣本。

官方文件也建議先用 Qwen3.8 27B 把訓練迴圈跑通,再換成 M3.1 Flash——小模型跑失敗比大模型便宜得多。每個資源同時只能掛三個 LoRA session,做超參數掃描時要規劃一下。

訓練完成後的 checkpoint 可以直接部署到 dedicated endpoint,或用 Multi-LoRA 部署把多個 adapter 掛在同一個基底部署上做比較。下一步建議:先從官方 cookbook 挑一個貼近你任務的 recipe 起步,等確認訓練訊號有效,再換成自己的獎勵函數。

參考來源

原始貼文
AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. FLUX 3 Image Klein 開源:5.6B 參數在地端跑 4K 圖像

    Black Forest Labs 釋出 5.6B 參數的 FLUX 3 Image Klein 開放權重,8GB VRAM 消費級顯卡即可本地生成與編輯圖像。

    Image Generation

  2. NeMo Automodel 接上 Diffusers:微調影像與影片模型不必先改格式

    六個 recipe 涵蓋 FLUX 與 Wan:1.3B 單張 40GB A100 起跳、最大 32B;平行化改 YAML、checkpoint 免轉換回 Hub。

    NVIDIA

  3. Stable Audio 3.0 發表:開放權重、6 分 20 秒完整作曲

    2026 年 5 月 20 日 Stability AI 發表 Stable Audio 3.0 四模型家族:三款開放權重、最長 6 分 20 秒完整作曲,Small 可在手機端生成 2 分鐘音樂,全家族以完全授權資料訓練,正面挑戰纏訟中的 Suno 與 Udio。

    Generative AI