AGENTIC COMMONSAI 產業簡報

繁中EN

標籤OCR出版

返回文章列表

DharmaOCR 對上更新模型:OCR 專用訓練為何仍有價值

本頁內容8 個段落
  1. 三個月後的對決:沒有免費的勝利
  2. 兩階段訓練:先建域,再補穩定性
  3. 逐 token 預測為何會漂移:DPO 的機制
  4. Chico Buarque 變成 Chico Barque:錯誤的形狀
  5. Text Degeneration 才是生產級問題
  6. 專精的結構邏輯,與作者的自我設限
  7. Builder 檢查清單
  8. 參考來源

摘要: Dharma-AI於7月16日發布比較,宣稱專攻巴西葡萄牙文的DharmaOCR得到0.925,領先更新的Mistral OCR4的0.798與Unlimited-OCR的0.7587。這是廠商自設且僅限Portuguese的評測,不是獨立第三方驗證,但案例說明域內SFT加DPO有助改善抽取品質與穩定性。作者也預期未來更新模型可能超越DharmaOCR,專精優勢不應被當成永久領先。

模型變新,不保證每個特定任務跟著變好。三個月前,Dharma-AI 發表了 DharmaOCR 論文,並開源其中一個模型(Dharma-OCR-LITE,4B 的 Image-Text-to-Text 模型),目標單一而明確:巴西葡萄牙文的 OCR。這三個月間,兩個更新、資源更雄厚的對手陸續登場——Mistral OCR4 與 Unlimited-OCR。7 月 16 日,Dharma-AI 推出比較文章,把三家模型放上同一份葡萄牙文文件集同場較勁。先講明證據的屬性:這份 benchmark 由 Dharma 團隊自己設計、範圍僅限 Portuguese,屬於廠商自評,並非獨立第三方評測。但它回答的問題,對所有要挑 OCR 的團隊都成立:發布日期與領域訓練,誰才是主導變數?

三個月後的對決:沒有免費的勝利

分數先擺上桌:DharmaOCR 拿下 0.925,是該基準上最高的 extraction 品質分數,degeneration 率也最低;Mistral OCR4 為 0.798,Unlimited-OCR 為 0.7587,各自落後約 13 分與超過 16 分。更值得留意的是時間軸:兩個對手的發表時間都在 DharmaOCR 之後。新,並沒有在這個語言域上換到勝利。

模型 品質分數 落後幅度
DharmaOCR 0.925 —(基準最高,degeneration 最低)
Mistral OCR4 0.798 約 13 分
Unlimited-OCR 0.7587 逾 16 分

兩階段訓練:先建域,再補穩定性

DharmaOCR 的訓練走兩個階段,各自治不同的病。第一階段是 supervised fine-tuning,語料取自來源、格式、複雜度都不一致的 Portuguese 文件。這一步的用意,是把模型的 representational capacity 收攏到目標語言上,而非攤薄在多語空間裡:同樣的參數預算,全數投注於葡萄牙文的詞彙、句法與文件結構。

第二階段導入 Direct Preference Optimization(DPO),訓練信號來自競爭輸出之間的偏好資料。重點在於它治的不是準確率(accuracy),而是穩定性(stability)。DPO 壓制了重複輸出、不連貫輸出這類 failure modes,附帶的紅利是推論時間與成本雙降、生產可靠性實質上升。SFT 負責建立域內能力,DPO 負責讓這個能力在模型最容易失守的條件下撐住——兩個階段,誰都省不掉。

逐 token 預測為何會漂移:DPO 的機制

想懂 DPO 為何有效,得先看 SFT 的結構性弱點。SFT 最佳化的是逐 token 預測:只要早期 token 在模糊的視覺訊號下偏離原文,之後的所有預測都以「已經偏離的狀態」為條件,錯誤於是自我強化,最終織出重複迴圈。這不是隨機噪音,而是訓練目標親手鋪好的漂移路徑。

DPO 的訓練信號走另一條路:它以完整輸出的一致性為單位,而非單一 token 的準確率。模型學會在整份擷取結果的層級上分辨好壞,於是遇到視覺複雜的文件時,比較不會一腳踏上那條回不了頭的漂移路徑。兩個階段恰好分工成兩個層次:token 層級的準確,與輸出層級的穩定。

Chico Buarque 變成 Chico Barque:錯誤的形狀

最有說服力的證據出自 ENEM(巴西高中會考)的手寫作文。Mistral OCR4 把巴西最家喻戶曉的音樂人兼詩人之一 Chico Buarque 誤轉成「Chico Barque」,Unlimited-OCR 則拼成「chico bique」。同一個名字、兩家模型、兩種錯法,而它偏偏不是冷僻詞——Chico Buarque 是全國級的人物。錯誤也不只發生在名字上:面對 Chico Buarque 的句子「O Brasil não exclui, assimila」(巴西不排斥,它同化),Unlimited-OCR 給出「a dose de chico bique, ‘o Brasil no exclu, eliminila.’」,連引文的結構都一起弄丟。

這說明錯誤並非隨機撒落的:多語模型的錯誤,密集落在 Brazilian Portuguese 特有的詞彙與專有名詞上——恰恰是把這個語言從更大的多語語料裡區分出來的那些字。錯誤聚集在哪裡,本身就是一個診斷訊號。

Text Degeneration 才是生產級問題

一般的轉錄錯誤與 text degeneration,屬於兩個不同物種的失敗。前者與原文之間仍保有對應關係,找得到、也修得掉;後者出現在視覺訊號轉趨模糊的時刻——小字體、劣化掃描、密集手寫——generative OCR 會順著先驗模式繼續生成,產出與頁面內容毫無關聯的文字。文中展示 Mistral OCR4 對小字體文件的輸出與原文完全脫鉤:那不是低品質轉錄,而是另一個物種的失敗。

對生產環境來說,這條區別是結構性的:degenerated 輸出根本沒有可修正的對象。一旦流進文件分類、資訊抽取或合規流程,它就是結構上不可用的資料,不是 pipeline 能洗掉的雜訊。

專精的結構邏輯,與作者的自我設限

Dharma-AI 的核心主張並非「我們永遠領先」,而是一條結構邏輯:有限的參數攤給多個域,必然稀釋單一域的投入;neuron superposition 容許參數複用,卻扭轉不了這個取捨。作者甚至白紙黑字地說:未來更新的模型,很可能連 Brazilian Portuguese 都會超越現行 DharmaOCR——這是預期,不是風險。專精的優勢不在於守住排行榜席位,而在於資源集中所帶來的槓桿;源檔也明言這個結構動態不會逆轉。至於這股槓桿何時該轉向新領域,屬於本文的取捨建議,並非源文主張。

Builder 檢查清單

挑 OCR 模型時,別停在平均分數上,有四件事該寫進自己的評測:第一,用自家文件建測試集,覆蓋實際會遇到的版型與品質分布;第二,記錄 degeneration——低品質掃描會不會催生無來源文字;第三,檢查專有名詞錯誤的集中度,那直指模型的域外弱點;第四,確認失敗模式屬於哪種——是拒絕輸出,還是生成不可用內容。如果通用模型在你的文件集上已經過線,不必為專用而專用;但若錯誤集中在特定語言、版型或術語上,域內 SFT 加 DPO 的兩階段配方,就是 DharmaOCR 這個案例裡真正可遷移的方法論。

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. MiniMax M3.1 Flash 開放自訓練:把 1M 上下文模型調成你的 agent

    MiniMax M3.1 Flash 加入 Together AI 後訓練支援,可用自家資料跑 SFT 或 RL,並保留完整訓練迴圈控制權。

    Fine-tuning

  2. Exa reranking:相關性之外,agent 還需要什麼

    Exa 以四項內部評測補足 BEIR、MIRACL 之外的重排名能力,顯示只優化相關性的 reranker 會讓導航與時效查詢結果變差。

    Exa

  3. FLUX 3 Image Klein 開源:5.6B 參數在地端跑 4K 圖像

    Black Forest Labs 釋出 5.6B 參數的 FLUX 3 Image Klein 開放權重,8GB VRAM 消費級顯卡即可本地生成與編輯圖像。

    Image Generation