AGENTIC COMMONSAI 產業簡報

繁中EN

標籤AI Education出版

返回文章列表

史丹佛法學院盲測:AI 答疑在 75% 對決中勝過教授

本頁內容6 個段落
  1. 這份研究如何進行
  2. 關鍵數據
  3. 受測的系統有哪些
  4. 研究邊界與作者親口的提醒
  5. 這對教育科技意味著什麼
  6. 資料出處

摘要: 2026 年 6 月 1 日,一份名為 “Law Professors Prefer AI Over Peer Answers” 的盲測研究由史丹佛法學院對外公布。實驗請來 16 位美國法學教授為 40 道契約法問題作答,再由他們對匿名摻入 AI 回覆的答案池進行盲評;在將近 3,000 次盲評當中,AI 贏下了 75% 的捉對較量。

2026 年 6 月 1 日,一份名為 “Law Professors Prefer AI Over Peer Answers” 的盲測研究由史丹佛法學院對外公布。實驗請來 16 位美國法學教授為 40 道契約法問題作答,再由他們對匿名摻入 AI 回覆的答案池進行盲評;在將近 3,000 次盲評當中,AI 贏下了 75% 的捉對較量。

這件事的分量,不在「AI 又多贏了一項 benchmark」。負責打分數的人,是職業上最會挑論證毛病的法學教授;被衡量的本領是教學答疑,而非考試成績;更值得注意的是,AI 的答案被判定「教學上有害或誤導」的比率只有 3.5%,比教授同儕寫的答案(12%)還低。計畫主持人是史丹佛法學院教授 Julian Nyarko,其帶領的單位為 Legal Innovation through Frontier Technology Lab,縮寫 liftlab;論文第一作者是 liftlab 研究者 Alejandro Salinas,共同作者名單裡有耶魯法學院的 Sarath Sanga,還有來自 NYU、芝加哥大學等機構的學者。

這份研究如何進行

方法上有三個值得注意的安排。其一,題目貼近日常:這 40 個契約法問題屬於學生下課後或在 office hours 真會開口問的類型,既非競賽題,也不是刻意刁難的怪題。其二,評分全程雙盲:教授先交出自己的答案,之後針對匿名化的答案打分數,從頭到尾無從判斷某一篇出自 AI 還是身邊同事。其三,基於公平,AI 回覆事先調校到與人類答案相近的長度與結構,讓人無法靠篇幅猜出作者是誰;評估也不靠單一方法,而是多種方式互相印證。

16 位教授搭配將近 3,000 次匿名比較,規模確實不算大;不過盲測設計已把品牌光環和身分偏見排除在外,而這恰恰是多數「AI 比 X 強」研究所欠缺的一環。

關鍵數據

  • 在 75% 的配對較量裡,AI 都贏過教授親寫的答案
  • 論整體水準,AI 與研究中表現最佳的人類講師不相上下
  • 被標為「教學上有害或誤導」的比率:AI 答案 3.5%,同儕教授的答案則達 12%

最常被略過的是第三項,但它或許才是關鍵:盲評時,教授對 AI 答案的安全疑慮,反倒比對同事答案的少。這個結果和「AI 會誤導學生」的通行直覺剛好背道而馳。

受測的系統有哪些

研究這次把市面上的商用家教系統連同 Google 的 NotebookLM 一併檢視,各系統的表現有高有低。完整模型名單並未出現在官方新聞稿裡;論文全文以 PDF 形式公開,同時上架 SSRN(編號 6849678)。另一個值得記住的細節:參與測試的全是現成買得到、用得著的產品,而非特別調校的模型——今天任何一名學生都伸手可得同一批工具,這讓研究比實驗室評測更貼近真實世界。

研究邊界與作者親口的提醒

Nyarko 特別點出一件事:這份研究衡量的僅是「答案品質」,「如何把這些工具落地、真正改善學習成效,仍是開放問題」。白話地說,AI 答得漂亮,不代表用 AI 的學生吸收得更多。盲測本身同樣有極限——40 道題全部限縮在契約法單一科目,16 位教授組成的樣本也稱不上能代表整個法學教育,其他學科就更不用提了。

研究一出,Hacker News 隨即累積起可觀的討論量(417 分、356 則留言),而網友爭執的焦點,多半正是「答疑品質」和「教育成效」之間那道縫隙。

這對教育科技意味著什麼

可以給出三點觀察。首先,「入門級答疑」很可能是高等教育裡 AI 最先被規模化採用的場景——需求頻繁、吃掉教師大量時間,又存在能用盲測檢驗的客觀品質指標。再來,一旦 AI 的答案在盲測裡贏過授課者本人,學校面對的課題便由「該不該禁」轉為「怎樣重新設計答疑與評量」——工具人人可用,禁令根本攔不住。最後,NotebookLM 這種以課程自有教材為依據的工具被嚴謹研究納入檢驗,說明「AI + 自有教材」這類教育應用正開始累積可量測的證據基礎,不再只是行銷話術。

資料出處

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. 把 AI 帶進教室前,先想清楚要教什麼:Anthropic 高教顧問團與 AI Fluency 課程的啟示

    Anthropic 成立高教顧問團並推出三門 AI Fluency 課程,為教育機構提供可改編的實用框架,而非抽象原則。

    AI Education

  2. Writer 新研究:記憶工具讓模型更愛附和、更不準確

    Writer AI Research 發表兩篇論文並推出 MIST 基準:Mem0、Zep 等記憶系統會放大模型附和行為,Sonnet 4.6 在 MIST-Moral 上從 1.6% 升到 40.2%。問題出在記憶擷取層,改用 LLM 生成摘要可壓到 12.8%。

    Agent Memory

  3. N-Day-Bench:用知識截止後的真實漏洞評測 LLM 安全能力

    Winfunc 推出 N-Day-Bench:只收錄模型知識截止後才公開的真實漏洞,讓 LLM 在唯讀沙箱中從已知 sink 回溯資料流。首輪 GPT-5.4 以 83.93 居首,GLM-5.1 與 Claude Opus 4.6 緊追在四分之內。

    Cybersecurity