摘要： 阿拉斯加法院的 AVA 遺產認證聊天機器人原本排定三個月，實際跑了十五個月，因為法院要求 100% 正確，而且不同模型都出現幻覺。上線範圍退縮為附來源連結的文件導航器，測試題數也從 91 題縮到 16 題以因應人工審核成本。
1 月 3 日,NBC News 刊登了阿拉斯加法院系統(Alaska Court System)的 AI 部署實錄:為了幫助沒有律師的民眾處理遺產認證(probate),法院打造了聊天機器人 AVA(Alaska Virtual Assistant)。專案最初排定三個月,實際跑了十五個月,雄心在路上掉了一路,目前定在 2026 年 1 月底上線——「如果一切按計畫走」。
這則報導的價值不在「AI 專案不順」這個標題,而在細節。把回答錨定在官方文件上的問答機器人,看起來已是生成式 AI 最安全的形態;可是一旦掛上「必須 100% 正確」的要求,工程量跟 demo 完全是兩回事。對任何想在法律、醫療、政務場域做 AI 產品的團隊,AVA 幾乎就是教科書級的個案。
從三個月到十五個月
AVA 的打造者是律師 Tom Martin 創辦的法律科技公司 LawDroid,美國州法院國家中心(NCSC)提供初期資金並派駐顧問 Aubrie Souza。它瞄準的問題很扎實:親人過世後的遺產移轉程序文書繁重,多數家屬沒有律師,法院的自助資源與諮詢專線永遠人手不足。
技術路線談不上前衛:強化版 RAG,把每個回答錨定在法院既有的自助網頁內容上,附可驗證的出處與後續問題建議。開發團隊反覆比較 OpenAI 與 Anthropic 的模型在「正確率與語氣」上的表現,並建了知識庫來阻止模型引用外部來源。湯姆森路透研究院早在 2025 年 2 月的報導中,就把 AVA 描述為「上線前的最終測試階段」——距 NBC 這篇報導,又過了將近一年。
幻覺在遺產法裡長什麼樣
實際踩到的雷,值得每個做垂直領域機器人的人逐條細讀。AVA 曾經憑空捏造資源——某個版本竟指引使用者去向一個根本不存在的阿拉斯加法學院校友網絡求助。法院系統行政主任 Stacey Marz 把要求講得一針見血:「像這樣的專案,我們需要 100% 正確,而這對這項技術來說非常困難。」NCSC 顧問 Souza 的版本是:不管換哪個模型,「都躲不開幻覺」。
語氣是另一片意想不到的雷區。早期版本同理心過剩,對每位剛喪親的使用者頻頻致哀,直到一位使用者回饋:「我受夠了生活裡每個人都對我說節哀。」團隊於是把安慰語句整批移除。開發者 Martin 對模型行為的觀察同樣傳神:有些模型不擅長守規則,「有點想證明自己是房間裡最聰明的人」——而這恰恰是法律工具最不能有的特質。
測試與成本的現實
為了評估正確率,團隊設計了 91 題的遺產法測試集;完整跑一輪太耗人力,最終砍到 16 題。Marz 對整個過程的形容是「非常、非常耗人力」。成本結構因此一目了然:推論本身便宜得近乎免費——某種配置下 20 次 AVA 查詢約 11 美分——真正的預算都燒在人工審核、內容整理與反覆迭代上。
上線版本的設計,每個角落都看得到退讓。官方 FAQ 白紙黑字寫著 AVA「使用人工智慧回答問題,可能出錯」;每個回答都附上法院自助網頁的連結,讓使用者能對照原始依據自行查證;服務範圍也不再嘗試複製真人服務人員的完整職能——用 Marz 的話說:「我們沒有把握機器人能以那種方式運作。」
對高風險部署的三個啟示
AVA 的十五個月,可以壓縮成三條給產品團隊的功課。
第一,把「縮小範圍」視為正當的工程手段。AVA 是靠著從「虛擬服務人員」退守到「文件導航器」,才換到上線門票;範圍縮減不是失敗,而是對正確率門檻的誠實回應。第二,評測是一筆持續的勞力成本。91 題砍成 16 題不是偷工減料,是資源現實;它同時意味著上線後的回歸測試需要常設負責人,而不是一次性的驗收關卡。第三,別低估「看起來很簡單」的 grounding 專案。Deloitte 的調查顯示,只有不到 6% 的地方政府從業人員把 AI 列為服務交付優先——AVA 把原因講清楚了:不是不想用,而是正確率門檻加上審核成本,把多數專案擋在了門外。