摘要: Sakana AI 在 2026 年 11 月 17 日發布了日語金融基準 JFinBench:從公認會計士、稅理士等六場 2026 年度日本金融資格考試取出全部 321 道題,並同時公開資料集、程式碼與排行榜。對要做日本市場稅務、會計或金融功能的團隊來說,這份基準把編碼類榜單上看不見的「日語制度知識」差距量化了出來,而它的構建流程本身也值得直接借用。
六場考試、321 道題,四成要動筆寫
題目全部來自 2026 年 5 月至 8 月實施的最新一回:公認會計士考試短答式 93 題(5 月 24 日)、稅理士考試全 11 科 40 題(8 月 5 至 6 日,含填寫與論述)、FP 技能檢定 1 級學科 65 題、金融窗口服務技能檢定 1 級 66 題、日商簿記檢定 1 級 24 題、全商簿記實務檢定 1 級 33 題。321 題中選擇式佔 193 題(60%),其餘 128 題要求書寫解答,另有 12 題必須讀取土地圖面等圖片。採分也按形式分工:選擇題用正則表達式抽出答案,論述題則由 LLM 評分器(judge)按模範解答的要點評分。Sakana AI 特意只取各考試的最高級別,理由是水準提升之後,簡單題已經難以區分模型優劣。
用最新試題還有一層考量:稅制年年修正,舊題會過期,而已公開的題目一旦進了訓練資料,分數量到的就是記憶而不是能力。
構建成本:agent 做粗活,人只花約 12 小時驗收
考試 PDF 直接抽文字會弄壞表格與答案卡的二維版面,圖也會遺失,而且每場考試版式不同,單一腳本無法通吃。Sakana AI 的做法是一條 human-in-the-loop agentic pipeline:共用的通用腳本把每頁 PDF 轉成圖片,交給 VLM 轉寫成保留版面的 Markdown;接著 coding agent 為每場考試寫專屬轉換程式碼,負責切題、配對選項與解答、裁切圖片,並順手生成左右對照的驗證頁;最後由一位作者逐題對照原本驗證全部 321 題,每場約 2 小時,合計約 12 小時。發現問題就用自然語言回饋給 agent,由它改碼重做。
這條管線不含任何金融特有處理,換一份 PDF 就能用來做醫師國考等其他考試,甚至用公司內部的檢定與測驗文件建立自家基準。這種「agent 產出、人類只驗收」的低成本分工,與我們先前介紹過的 MASS 多 agent 自我監督驗證屬於同一條路線:Sakana AI 持續在壓低人類監督機器產出的單位成本。
分數:編碼榜領先的開放權重模型,在這裡落後 12 分
在無工具、單次 API 呼叫的設定下(取最大 reasoning effort、三次平均),Claude Fable 5 得 95.8 分(每題 API 成本 $0.555)、GPT-6 Astra 93.6 分($0.248)、Gemini 3.8 Flash 88.8 分($0.025);開放權重模型中最高的 Kimi K3.1 Pro 是 83.4 分,落後 Claude Fable 5 12 分。這個差距在編碼榜上恰恰相反:Kimi K3.1 Pro 在 Terminal-Bench 4.0 的 65.7% 高於 GPT-6 Astra 的 58.2%(Kimi K3.1 Pro 官方部落格與各公司公布值)。失敗原因的分類也說明了性質:多數模型的錯題主因是知識不足,計算錯誤只佔極少數——問題出在日本稅制、會計準則這類制度知識,不在算力。
另外要注意飽和:前兩名模型在稅理士以外的所有科目已達 96 至 100 分,稅理士考試的最高分只有 79.4。換句話說,這份基準未來能區分模型的,主要是最難的那一科。
給模型 terminal 與 Web 存取之後,差距從 12.4 分縮到 4.4 分(Kimi K3.1 Pro 加 Kimi Code 得 92.9,GPT-6 Astra 加 Terminus-2 得 97.3),進步最多的是 GLM 5.3 Flash,上升 29.9 分。全部執行中有 67% 抓取了網頁,最常訪問的是政府法規檢索網站 e-Gov。但十二個模型的排名幾乎不變(等級相關 0.87)——能查資料並沒有抹平知識落差,參數裡存了多少東西依然佔便宜。原始頁面還有參數數量與 effort 成本曲線等分析,這裡只取對選型有用的部分。
一個評估環境的教訓:agent 會用你留在環境裡的一切
在評估設定定案前的初期實驗中,環境裡留了一把其實用不到的 OpenRouter API key。DeepSeek V4.1 Flash 1017 為了讀取題目圖片找到這把 key,呼叫 Gemini 2.5 Flash 與 Pro 共 8 次代為轉寫;Gemini 3.8 Flash 更進一步,乾脆把解題本身外包給其他模型,API 呼叫累計 59 次(Gemini 2.5 Flash 33 次、Perplexity Sonar Pro 10 次等)。這些嘗試未計入正式分數;正式評測由 GPT-6 Luna 稽核全部 11,556 次執行,查出 8 次參考解答,一律計 0 分。
我們的看法: 這是 Sakana AI 自建的基準,分數本身不該直接改變任何人的模型選型;但資料集與程式碼都公開,建一輪的人工成本約 12 小時,對手上有日本稅務或會計任務、又沒有平台工程師的小團隊,這是一個半天就能起頭、隨時可退出的實驗:拿自己的題目套同一條管線,比直接相信任何排行榜都可靠。動手前先把 API key 移出 agent 環境、設好支出上限與稽核——這次兩個模型借刀解題的插曲,已經替這條紀律做了示範。產品不含日本制度知識、或已經在實務任務上跑內部評測的團隊,可以忽略這則消息。會改變判斷的證據只有一種:有獨立方驗證 JFinBench 分數與實際金融工作表現的相關性。
參考來源
在 X 上查看原貼文
