← 返回部落格
Ai預計閱讀 10 分鐘

99.2% 的檢出率,0.27% 的誤報,先看他們拿什麼測的

發布於 2026年11月11日
99.2% 的檢出率,0.27% 的誤報,先看他們拿什麼測的

Pangram 在 11 月 4 日放出了兩個電腦視覺模型。Pangram Image 1.0 偵測 AI 生成的影像。Pangram Image Flash 1.0 是更小更快的兄弟,它的活兒是逐幀過一遍 AI 生成的影片,說出哪些部分來自生成器。

這次發布加了熱力圖輸出、原生影片上傳、一個 Chrome 擴充功能,以及影像和影片兩邊的 API。在 X 上,公司說 Image 1.0 能辨識 99.2% 的 AI 生成影像,同時把誤報率壓在 0.27%。

這兩個數字是那種可以放上簡報的東西。也是那種應該去讀腳註的東西。

99.96% 是怎麼測出來的

影像評估的做法是,Pangram 拿了 100 張真實照片,用 12 個不同的影像生成器給每一張做了合成鏡像。prompt 寫得盡量貼合原照片,一共造出 1200 張合成圖。在這個集合上,公司報告 Image 1.0 的準確率是 99.96%。

對一個特定問題來說,這是一個設計得不錯的測法。因為每張真實照片都有同場景同主體的合成對應物,模型沒法靠「海灘照是真的、產品圖是假的」這種規律作弊。它必須看像素。

但它測不了把模型放到開放網際網路上會發生什麼。Pangram 自己說得很直接:這個數字描述的是在這組定向配對上的表現,而不是對網路上遇到的所有影像的通用準確率。

這個區別比聽上去重要。一個偵測器在真實世界裡的錯誤分布,主要由那些沒人想到要放進測試集的圖決定:截圖的截圖、過了三個通訊軟體的圖、老 JPEG、印刷品的掃描、任何帶浮水印條的圖,以及測試集凍結之後才發布的生成器的輸出。一組乾淨的 100 張照片鏡像,測不了其中任何一項。

兩個頭條數字裡,0.27% 的誤報率更有意思,因為誤報才是會讓真人被指控的東西。0.27% 意味著大約每 370 張真實影像裡有一張被標出來。對一家每天核幾張照片的新聞編輯部,這是一條可控的複核佇列。對一個每天掃一億次上傳的平台,這是二十五萬個被誤判的使用者,這也正是這個量級的公司沒人只靠一個分類器的原因。

影片那個數字才讓人不安

影片 benchmark 是這次發布裡讓人坐不住的地方。

Pangram 用 DF26 評估 Flash 1.0,這個 benchmark 出自 2026 年 9 月 7 日提交的一篇預印本。DF26 裡有 271 條真實影片,2420 條合成影片,來自七個現代影片模型。內容刻意窄,也刻意難:一個人對著鏡頭說話、官方聲明、攝影棚訪談。這正是真正會造成傷害的深度偽造格式,因為在這種格式裡,觀眾的預設假設就是「這個人是真的」。

benchmark 的作者報告,真人和最先進的深度偽造偵測器在上面都接近隨機水準。他們主張,評估應該顯式測試對現代生成器造成的分布偏移的穩健性。

這個結果值得在腦子裡多放一會兒。接近隨機,意味著丟硬幣加幾道手續。偵測器本身做得不差,它們是在上一代偽造品上訓練和評估的,而新生成器不留同樣的痕跡。一個學會看下顎線扭曲的偵測器,在下顎線不扭曲的時候毫無用處。

Pangram 說 Flash 1.0 在 DF26 上得到 98.7%,並稱這比次優偵測器高 29 個點。如果這個結果在獨立重現下站得住,那是一個在專門用來打垮上一代工具的 benchmark 上的巨大差距。它同時也是一個公司自報的、在公司自己選的 benchmark 上、用自己那套 harness 跑出來的數字,所以誠實的位置是:有希望,未驗證。

產品實際做什麼

功能清單比行銷材料有資訊量。

熱力圖輸出把合成材料定位到影像內部。這才是常見真實場景需要的能力,而那個場景往往不是一張全生成的圖,而是一張真實照片裡插進了一個生成元素,或者一張真實影像上被塗了一塊生成區域。一個「是或否」的標籤在那兒沒用。熱力圖告訴編輯該看哪裡。

原生影片上傳在儀表板裡跑逐幀分析,指出影片的哪些片段被標了出來。對一段兩分鐘的片子,它產出的是懷疑的時間軸而不是判決,這對人類複核者是對的輸出。

Chrome 擴充功能在社群媒體、購物和租屋站點上標出 AI 生成的材料。最後這一類是真正讓人虧錢的。租屋房源照片是生成圖讓人損失真金白銀的經典場所。

相比七月的預覽變了什麼

2026 年 7 月 29 日的研究預覽只接受 512×512 像素及以上的影像,並明確把深度偽造和換臉列為它無法自信偵測的情況。那是一個誠實的限制,也是一個大洞,因為換臉是最常見的有害場景。

1.0 版聲稱在深度偽造、低解析度影像和前沿生成模型上表現提升。最小輸入現在是 256×256,低於 512 的會附帶一個降低信心的聲明。公司說新模型被訓練去辨識壓縮、降取樣、模糊和雜訊這類轉換,無論它們是社群平台引入的,還是想逃避偵測的人故意加的。

最後這句話承擔了很多工作。現實裡的 AI 影像絕大多數是在被至少一個平台重新壓縮之後才到你眼前的。一個只在乾淨 PNG 上有效的偵測器,是實驗室儀器。

接入面也放寬了。預覽階段影像 API 是邀請制,儀表板的影片輸入被列為後續工作。現在兩者都有了。

沒人解決的那個結構性問題

偵測是一個分類問題,而其中一方可以持續迭代。生成器每進步一次,痕跡分布就偏移一次,所有在舊分布上訓練的偵測器都掉準確率。防守方必須一直贏。攻擊方只需要贏一次,贏在那張要緊的圖上。

C2PA 這類來源標準就是為了補這個缺口。相機拍攝時的密碼學簽章,和對像素做統計猜測,是兩種不同性質的斷言。簽章可以被剝掉,但當它存在時,它不是一個機率。

兩條路是互補,不是競爭。來源回答「我們知道這東西哪來的嗎」。偵測回答「這東西看起來像生成的嗎」。新聞編輯部兩個都要,平台兩個都要,兩個都不夠。

Pangram 的賣點基本上是:偵測不是一個已經被解決的問題,應該有人把它做成帶熱力圖和 API 的產品,而不是一個研究 demo。這是一門合理的生意。99.2% 會幫他們約到會。98.7% 那個 DF26 數字,才是別人該拿著 benchmark harness 和一個剛發布的生成器,詳細追問的東西。

給使用者的一個實用腳註

如果一個偵測器告訴你某張圖是 AI 生成的,你有了線索。如果它告訴你某張圖是真的,你什麼都沒有。這種不對稱是問題本身的一部分,沒有任何準確率數字能改變它。0.27% 的誤報率告訴你這個工具在一個方向上多久會讓你難堪一次。發布裡沒有任何一句告訴你它多久會漏掉一個做得好的假貨,而那個數字永遠更難看。

所以把它當分診工具用,留著熱力圖,把模型版本和結論一起記下來,並且準備好在每個重要生成器發版後重跑一遍評估。一個偵測器準確率的半衰期,是按月算的。

相關文章