摘要： 直到 GPT-5.4，情況變本加厲，內部分析更揪出一條關鍵線索——這些生物類字眼，絕大多數集中在挑選了「Nerdy」個性的使用者的回應裡。 只是 GPT-5.5 早在根因查明前就已開始訓練，等到在 Codex 上測試，員工馬上察覺那股哥布林癖好，OpenAI 於是加入開發者提示指令將其壓制。 對產品開發者來說，重點在於：模型的一舉一動皆有來由，唯有找到根因，修正才有著力點。
最近跟 ChatGPT 對話時，你有沒有碰過模型突然講起「哥布林」或「小妖精」？這不只是模型愛開玩笑——2026 年 4 月 29 日，OpenAI 公開了對這樁「哥布林之謎」的調查：一個自 GPT-5.1 起悄悄蔓延的用詞習慣，追查到底，源頭竟是獎勵機制在意料之外塑造了模型行為。
用量暴漲 175%，線索指向「Nerdy」個性
OpenAI 在官方部落格文章〈Where the goblins came from〉裡回顧了整起事件：GPT-5.1 上線後，ChatGPT 裡「goblin」一詞的使用率攀升了 175%，「gremlin」也增加了 52%。起初大家都把它當成無傷大雅的小癖好；直到 GPT-5.4，情況變本加厲，內部分析更揪出一條關鍵線索——這些生物類字眼，絕大多數集中在挑選了「Nerdy」個性的使用者的回應裡。
數據對比十分懸殊：「Nerdy」個性在全體 ChatGPT 回應中只佔 2.5%，卻包辦了 66.7% 的「goblin」提及。OpenAI 調出這個個性的系統提示詞檢視，裡面要求模型展現「俏皮、書呆子氣、用語言削弱自以為是」的風格，而這種調性正是生物比喻最容易滋生的溫床。
被意外放大的獎勵，與不斷擴散的回饋迴圈
OpenAI 借助 Codex，把強化學習訓練期間含有「goblin」或「gremlin」的輸出拿來比對，結果顯示「Nerdy」個性對應的獎勵訊號明顯偏愛這類輸出——在 76.2% 的資料集裡，帶著這些字眼的內容拿到了較高的獎勵。這能說明該風格為何在「Nerdy」提示下被養大，卻說不通沒有這個提示時它為何照樣現身。
沿著訓練過程追蹤後，OpenAI 看到「Nerdy」條件下的提及率往上走時，非「Nerdy」樣本也以相近的相對幅度跟著上升，可見行為是靠遷移散播出去的。整件事於是繞成一個回饋迴圈：俏皮風格獲得獎勵 → 部分範例帶有特殊詞彙 → 這些詞在 rollouts 中出現得更頻繁 → 這些 rollouts 被拿去做監督式微調 → 模型愈來愈習慣吐出這些詞。
OpenAI 還揪出其他「tic words」：浣熊、巨魔、食人魔、鴿子都在名單上；青蛙的使用則大多屬於正常範疇。這代表問題不在單一詞彙，而是「拿生物來類比」的整體傾向被獎勵過了頭。
修正手段，與產品開發者能帶走的三課
GPT-5.4 在 3 月推出之後，OpenAI 讓「Nerdy」個性退役，一併移除對生物詞彙的獎勵訊號，也把含這些詞的訓練資料過濾掉。只是 GPT-5.5 早在根因查明前就已開始訓練，等到在 Codex 上測試，員工馬上察覺那股哥布林癖好，OpenAI 於是加入開發者提示指令將其壓制。
這個案例留給產品開發者三點啟示：
- 設計獎勵時要心存戒慎：看似無害的風格獎勵，照樣可能把特定語言模式意外放大，再經由遷移蔓延到其他情境。
- 盯緊「小怪癖」：模型冒出異常但不致命的行為時，別只把它當趣聞——值得追查的是它的分佈與來源。
- 把調查工具建起來：OpenAI 為此打造了稽核模型行為的新工具，對任何依賴 LLM 的團隊而言，這類投資舉足輕重。
寫在最後：搞懂怪癖背後的機制
OpenAI 強調，這場調查呈現了「獎勵訊號如何以意想不到的方式塑造模型行為」，也呈現了「模型如何將獎勵泛化到無關情境」。對產品開發者來說，重點在於：模型的一舉一動皆有來由，唯有找到根因，修正才有著力點。下回你的模型又養成奇怪的語言習慣時，不妨先問一句——背後是不是有哪個獎勵訊號在推了一把？