摘要: 2026 年 1 月 22 日,Runway 公布了名為「The Turing Reel」的研究:透過隨機抽樣找來 1,043 名受測者,每個人接連觀看 20 支長度 5 秒的短片——其中 10 支是實拍素材、另外 10 支由最新模型 Gen-4.5 生成——然後逐支判定真偽。成績出爐:全體正確率 57.1%,能達到統計顯著程度的只有 99 人,換算下來是 9.5%。研究標題借自圖靈測試,得到的結論卻幾乎是反向宣判:換到影片這個介面,這場測驗已經由人類吞下敗仗。
2026 年 1 月 22 日,Runway 公布了名為「The Turing Reel」的研究:透過隨機抽樣找來 1,043 名受測者,每個人接連觀看 20 支長度 5 秒的短片——其中 10 支是實拍素材、另外 10 支由最新模型 Gen-4.5 生成——然後逐支判定真偽。成績出爐:全體正確率 57.1%,能達到統計顯著程度的只有 99 人,換算下來是 9.5%。研究標題借自圖靈測試,得到的結論卻幾乎是反向宣判:換到影片這個介面,這場測驗已經由人類吞下敗仗。
由影片模型開發商親自操刀、以自家最新模型執行如此嚴謹的對照實驗,這是頭一遭;「肉眼還辨認不辨認得出 AI 影片」這道題,就此被壓縮成一位數的百分比。對平台與內容團隊而言,該把它當成風險評估裡的一筆數據來讀,而不是當成宣傳素材。
實驗是怎麼跑的
- 實拍片段選自 Filmpac 素材庫,範圍橫跨五類:人臉、全身動作、動物、自然景觀與都市環境
- 每段實拍影片取出開頭第一格,交給 Gen-4.5 剛推出的 image-to-video 功能,參數維持預設、每段只生成一次、事後不做任何後製修整
- 所有片段統一修剪成 5 秒、解析度對齊;受測者單段最多看 10 秒,時間一到就得給答案
- 20 支片段以隨機順序播放,真偽各半
整套設計刻意複製社群平台上的觀看習慣:片長短、節奏快、幾秒之內就要表態。換言之,被檢驗的不是實驗室裡從容的鑑識功夫,而是手指滑動之間那種真實的注意力。
57.1%:和擲銅板差不了多少
全體 57.1% 的正確率,高出 50% 亂猜基準的幅度相當有限。更值得盯著看的是細項拆解:認出真實影片的比率為 58.0%,認出生成影片則是 56.1%,兩個數字幾乎重疊,代表沒有任何人建立起一套站得住腳的判別方法。若把及格線拉高到統計顯著——20 題至少答對 15 題、p 值小於 0.05——1,043 人裡只剩 99 個人跨得過去。TechRadar 的報導給了很直白的評語:多數人已經無法把 AI 影片從現實裡挑出來。
人眼仍佔上風的項目
按類別拆開,有人入鏡的內容成績最好:臉部、手部與人類動作的辨識率落在 58–65%;身體結構與物理動作,至今仍是生成模型露餡最頻繁的環節。動物與建築場景則跌到 45–47%,連亂猜都不如——受測者自以為抓到的「AI 感」,放到非人物題材上反而變成反向訊號。TechRadar 同時列舉了 Gen-4.5 還沒修掉的毛病:物件憑空消失、因果錯置(門把還沒轉動、門已經打開),以及「成功偏誤」(踢歪的球照樣滾進門)。麻煩在於,這些線索根本等不到你在 5 秒內逐一排查。
Runway 共同創辦人自己也答不準
Runway 共同創辦人兼 CTO Anastasis Germanidis 坦承,親自下場測試時,他也「錯了不少」。他的結論值得直接引用:到了這個時間點,我們正在跨過門檻,生成與真實影片已經很難區分,大眾需要對線上內容保持更有批判性的心態。做出模型的公司的技術長親口承認辨認不出自家成品,這句話的分量重過任何 benchmark 分數。
告別偵測,改走溯源
整份研究真正的分量壓在結尾:肉眼偵測既已行不通,內容信任就得改成由源頭自證。Runway 現在預設在輸出中寫入 C2PA 溯源 metadata、持續打磨更可信的浮水印,並號召業界共同訂出驗證標準;研究頁面也提供了開放大眾參與的「Real or AI」測試版本。成果發表後,合成媒體專家 Henry Ajder 等評論者把目光集中在不到一成的可靠辨識率上,把這組數字讀成肉眼偵測年代畫下句點的量化證據。留給開發者的啟示很務實:真偽防線該蓋在 metadata 與數位簽章那一層,別再指望使用者或審核人員的眼力。
