摘要: Cohere Labs 於 2 月 17 日發表 Tiny Aya,這是 33.5 億參數、覆蓋 70 種以上語言的開源多語模型家族,主攻一般硬體上的本機部署。模型包含 TinyAya-Global 指令微調版,但授權為 CC-BY-NC-4.0 加上 Cohere 政策,商用須另行接洽。官方也說明鏈式思考、數學和低資源語言事實正確性仍是限制。
2 月 17 日,Cohere 旗下研究部門 Cohere Labs 對外發表開源多語模型家族 Tiny Aya:參數量 33.5 億、涵蓋 70 種以上語言、主打在一般硬體上以本機方式運行,發表時點刻意安排於印度新德里舉行的 AI Impact Summit 期間。根據 TechCrunch 報導,家族成員還包括一款針對指令遵循微調的 TinyAya-Global。
一直以來,多語能力多半被鎖在 API 後方的前線模型裡。Tiny Aya 走的是反方向的路:權重開放、刻意押注低資源語言、把本機部署當成設計目標——而且參數規模壓在一般消費級硬體真正跑得動的範圍內。
33.5 億參數裝進 70+ 語言
基礎模型的參數量為 33.5 億,BF16 權重約 6.7 GB。語言覆蓋橫跨歐洲、印度、東亞與東南亞、非洲、中東等語系,Hugging Face 模型卡共標註 67 種語言,並特別著重低資源語言:祖魯語(Zulu)、Wolof、Igbo、寮語(Lao)、爪哇語(Javanese)與緬甸語全都名列其中。
架構方面,這個模型把滑動視窗注意力(4096 視窗、RoPE 位置編碼)與單層全域注意力混合使用,輸入與輸出各提供 8K context。當有限的小參數量必須應付多語長文件時,這類混合設計是業界常見的折衷做法。
TinyAya-Global:鎖定指令遵循的微調主力
TechCrunch 在報導中特別點出 TinyAya-Global:它以 tiny-aya-base 為底,透過監督式微調加上偏好訓練完成對齊,瞄準「需要廣泛語言支援、又要求模型聽懂指令」的應用場景。模型卡的定位說明指出,它是整個家族中跨語言、跨區域表現最均衡的版本。
真的塞得進筆電:部署管道
模型卡對設計目標毫不拐彎:在現實算力限制下完成本機部署。實際可行的管道涵蓋 transformers、vLLM、SGLang 與 Docker Model Runner,社群也已經推出 8 個量化版本;若不想自行架設,Cohere 的託管推理速度約每秒 133 token。對照動不動就數百 GB 起跳的前線模型,這樣的尺寸讓「離線多語助手」從概念展示變成真正可出貨的產品。
授權條款與能力天花板
授權方式為 CC-BY-NC-4.0(非商業)疊加 Cohere 自家的可接受使用政策;模型庫須先填表才能解鎖,商用需求得另行接洽 Cohere 業務端。能力上限同樣寫得坦白:模型卡僅列出一項評測——GPQA Diamond 28.28%,並明說鏈式思考與數學(MGSM 類任務)表現偏弱,低資源語言的輸出仍可能出現事實錯誤。產品定位因此相當清楚:這是負責生成、翻譯、跨語言摘要的工作馬,不是推理模型;產品一旦涉及多步驟規劃,前線模型仍應留在迴圈裡,Tiny Aya 承擔的是零邊際成本的語言覆蓋。
Aya 脈絡與留給產品團隊的啟示
Tiny Aya 是 Cohere 開放科學計畫 Aya 的延伸——更早的 Aya 研究模型曾覆蓋 101 種語言。選在印度峰會期間亮相同樣有其用意:最需要低成本、多語、本機 AI 的市場,正是這場峰會聚集起來的全球南方使用者。
這次發表留給產品團隊兩個啟示。第一,非英語市場的單位經濟換了算法:33.5 億參數的本機多語基底,代表 token 帳單歸零、資料不出裝置,成本與隱私同步受惠。第二,非商業授權是新創不能踩的紅線:原型階段盡可自由揮灑,正式上線前得先把授權條件談清楚——這也是開放權重模型產品化路上最常卡住的最後一關。
