AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 安全與防護出版

返回文章列表

Anthropic 撥款五百萬美元,資助 AI 對幸福感影響的獨立評估

摘要: Anthropic 在 2026 年 8 月 25 日宣布 500 萬美元資助計畫,支持獨立團隊開發衡量 AI 對幸福感影響的開源評估工具,並提供模型使用權與技術協助。指引強調以多輪對話觀察風險變化,納入臨床與領域專家,同時檢驗過度配合與過度拒絕。

AI 模型逐漸被當成聊天的對象,有時甚至扮演情感支持者的角色。但當使用者正處於低潮、想從模型身上得到陪伴,或想靠 AI 撐過心理健康危機時,模型究竟該如何回應?Anthropic 在 2026 年 8 月 25 日宣布撥出五百萬美元,資助獨立研究,要做出能衡量 AI 如何影響使用者幸福感的開放評估工具。

這筆經費不是計劃的全貌。入選團隊還能取得模型使用權與技術協助,但必須獨立運作,成果一律以開源專案釋出,任何開發者都能取用。Anthropic 同時公開了 Safeguards 團隊的評估指引,說明在他們眼中,什麼樣的幸福感評估才算嚴謹。

幸福感評估難在哪裡?

模型的行為多半能靠單一回答判斷對錯,幸福感卻不是這回事。Anthropic 指出,身陷困境的使用者未必會在第一時間吐露自傷念頭,這類風險往往要等對話拉長才慢慢顯現;同一句話放進不同脈絡,效果也可能完全相反——例如 Claude 對想減重的使用者提供飲食與運動建議,但若對方有飲食失調病史,這種回應就顯得不恰當,甚至可能造成傷害。

因此單回合的評估遠遠不夠,必須模擬多輪對話,看風險如何隨情境升高。Anthropic 的指引強調,好的評估要講清楚自己測的是什麼(什麼算通過、什麼算失敗,以及為什麼這件事重要)、在設計與驗證階段納入臨床與領域專家、同時檢驗過度配合與過度拒絕兩種風險,並貼近使用者真實的使用方式。此外,評分者本身也得對照真實專家驗證。

資助內容與申請時程

收件在 2026 年 9 月 21 日截止;通過初選、獲邀提出完整提案的人,10 月 5 日前會收到通知。Anthropic 想找的是臨床心理師、精神科醫師、研究方法學者等跨領域人才,一起投入這個仍在成形的領域。

對產品開發者來說,這份指引本身就相當實用——即使不申請補助,也能拿它檢查自家產品裡情感支持或心理健康相關功能的評估嚴謹度夠不夠。

務實的下一步

Anthropic 也承認,幸福感評估會隨模型與使用方式演進而改變,沒有做一次就定案的解答。開放評估真正的價值,是替整個產業鋪出一把共同的尺,讓大家可以照著討論、照著修正。手上正在開發對話式 AI 產品的人,不妨拿指引列出的五個要點逐項對照自己的評估流程,確認多輪對話與專家驗證都沒有漏掉。這些話不是行銷話術,而是能實際壓低風險的做法。

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. 選舉級的 red team:Anthropic 用資料與外部審查替 2026 中期選舉做準備

    Anthropic 公布中期選舉前的防護部署:25 萬則對話分析、外部機構壓力測試,以及拆解多步驟濫用的新分類器。

    Anthropic

  2. 當評估者坐進實驗室:Anthropic 與 Accenture 的嵌入式評估對產品團隊意味著什麼

    Anthropic 與 Accenture 合作把評估者送進公司內部,雙方各投入至少十億美元,企業採購 AI 的舉證方式可能跟著改變。

    Anthropic

  3. 當 AI 測試環境意外連上真實網路:Anthropic 三起事件的檢討

    Anthropic 在回顧網路安全評估時,發現 Claude 模型因環境設定錯誤而意外存取真實系統。本文整理事件經過、原因與後續改進,並探討對 AI 評估與產品建構者的啟示。

    AI Safety