99.2% 的檢出率,0.27% 的誤報,先看他們拿什麼測的

Pangram 在 11 月 4 日放出了兩個電腦視覺模型。Pangram Image 1.0 偵測 AI 生成的影像。Pangram Image Flash 1.0 是更小更快的兄弟,它的活兒是逐幀過一遍 AI 生成的影片,說出哪些部分來自生成器。
這次發布加了熱力圖輸出、原生影片上傳、一個 Chrome 擴充功能,以及影像和影片兩邊的 API。在 X 上,公司說 Image 1.0 能辨識 99.2% 的 AI 生成影像,同時把誤報率壓在 0.27%。
這兩個數字是那種可以放上簡報的東西。也是那種應該去讀腳註的東西。
99.96% 是怎麼測出來的
影像評估的做法是,Pangram 拿了 100 張真實照片,用 12 個不同的影像生成器給每一張做了合成鏡像。prompt 寫得盡量貼合原照片,一共造出 1200 張合成圖。在這個集合上,公司報告 Image 1.0 的準確率是 99.96%。
對一個特定問題來說,這是一個設計得不錯的測法。因為每張真實照片都有同場景同主體的合成對應物,模型沒法靠「海灘照是真的、產品圖是假的」這種規律作弊。它必須看像素。
但它測不了把模型放到開放網際網路上會發生什麼。Pangram 自己說得很直接:這個數字描述的是在這組定向配對上的表現,而不是對網路上遇到的所有影像的通用準確率。
這個區別比聽上去重要。一個偵測器在真實世界裡的錯誤分布,主要由那些沒人想到要放進測試集的圖決定:截圖的截圖、過了三個通訊軟體的圖、老 JPEG、印刷品的掃描、任何帶浮水印條的圖,以及測試集凍結之後才發布的生成器的輸出。一組乾淨的 100 張照片鏡像,測不了其中任何一項。
兩個頭條數字裡,0.27% 的誤報率更有意思,因為誤報才是會讓真人被指控的東西。0.27% 意味著大約每 370 張真實影像裡有一張被標出來。對一家每天核幾張照片的新聞編輯部,這是一條可控的複核佇列。對一個每天掃一億次上傳的平台,這是二十五萬個被誤判的使用者,這也正是這個量級的公司沒人只靠一個分類器的原因。
影片那個數字才讓人不安
影片 benchmark 是這次發布裡讓人坐不住的地方。
Pangram 用 DF26 評估 Flash 1.0,這個 benchmark 出自 2026 年 9 月 7 日提交的一篇預印本。DF26 裡有 271 條真實影片,2420 條合成影片,來自七個現代影片模型。內容刻意窄,也刻意難:一個人對著鏡頭說話、官方聲明、攝影棚訪談。這正是真正會造成傷害的深度偽造格式,因為在這種格式裡,觀眾的預設假設就是「這個人是真的」。
benchmark 的作者報告,真人和最先進的深度偽造偵測器在上面都接近隨機水準。他們主張,評估應該顯式測試對現代生成器造成的分布偏移的穩健性。
這個結果值得在腦子裡多放一會兒。接近隨機,意味著丟硬幣加幾道手續。偵測器本身做得不差,它們是在上一代偽造品上訓練和評估的,而新生成器不留同樣的痕跡。一個學會看下顎線扭曲的偵測器,在下顎線不扭曲的時候毫無用處。
Pangram 說 Flash 1.0 在 DF26 上得到 98.7%,並稱這比次優偵測器高 29 個點。如果這個結果在獨立重現下站得住,那是一個在專門用來打垮上一代工具的 benchmark 上的巨大差距。它同時也是一個公司自報的、在公司自己選的 benchmark 上、用自己那套 harness 跑出來的數字,所以誠實的位置是:有希望,未驗證。
產品實際做什麼
功能清單比行銷材料有資訊量。
熱力圖輸出把合成材料定位到影像內部。這才是常見真實場景需要的能力,而那個場景往往不是一張全生成的圖,而是一張真實照片裡插進了一個生成元素,或者一張真實影像上被塗了一塊生成區域。一個「是或否」的標籤在那兒沒用。熱力圖告訴編輯該看哪裡。
原生影片上傳在儀表板裡跑逐幀分析,指出影片的哪些片段被標了出來。對一段兩分鐘的片子,它產出的是懷疑的時間軸而不是判決,這對人類複核者是對的輸出。
Chrome 擴充功能在社群媒體、購物和租屋站點上標出 AI 生成的材料。最後這一類是真正讓人虧錢的。租屋房源照片是生成圖讓人損失真金白銀的經典場所。
相比七月的預覽變了什麼
2026 年 7 月 29 日的研究預覽只接受 512×512 像素及以上的影像,並明確把深度偽造和換臉列為它無法自信偵測的情況。那是一個誠實的限制,也是一個大洞,因為換臉是最常見的有害場景。
1.0 版聲稱在深度偽造、低解析度影像和前沿生成模型上表現提升。最小輸入現在是 256×256,低於 512 的會附帶一個降低信心的聲明。公司說新模型被訓練去辨識壓縮、降取樣、模糊和雜訊這類轉換,無論它們是社群平台引入的,還是想逃避偵測的人故意加的。
最後這句話承擔了很多工作。現實裡的 AI 影像絕大多數是在被至少一個平台重新壓縮之後才到你眼前的。一個只在乾淨 PNG 上有效的偵測器,是實驗室儀器。
接入面也放寬了。預覽階段影像 API 是邀請制,儀表板的影片輸入被列為後續工作。現在兩者都有了。
沒人解決的那個結構性問題
偵測是一個分類問題,而其中一方可以持續迭代。生成器每進步一次,痕跡分布就偏移一次,所有在舊分布上訓練的偵測器都掉準確率。防守方必須一直贏。攻擊方只需要贏一次,贏在那張要緊的圖上。
C2PA 這類來源標準就是為了補這個缺口。相機拍攝時的密碼學簽章,和對像素做統計猜測,是兩種不同性質的斷言。簽章可以被剝掉,但當它存在時,它不是一個機率。
兩條路是互補,不是競爭。來源回答「我們知道這東西哪來的嗎」。偵測回答「這東西看起來像生成的嗎」。新聞編輯部兩個都要,平台兩個都要,兩個都不夠。
Pangram 的賣點基本上是:偵測不是一個已經被解決的問題,應該有人把它做成帶熱力圖和 API 的產品,而不是一個研究 demo。這是一門合理的生意。99.2% 會幫他們約到會。98.7% 那個 DF26 數字,才是別人該拿著 benchmark harness 和一個剛發布的生成器,詳細追問的東西。
給使用者的一個實用腳註
如果一個偵測器告訴你某張圖是 AI 生成的,你有了線索。如果它告訴你某張圖是真的,你什麼都沒有。這種不對稱是問題本身的一部分,沒有任何準確率數字能改變它。0.27% 的誤報率告訴你這個工具在一個方向上多久會讓你難堪一次。發布裡沒有任何一句告訴你它多久會漏掉一個做得好的假貨,而那個數字永遠更難看。
所以把它當分診工具用,留著熱力圖,把模型版本和結論一起記下來,並且準備好在每個重要生成器發版後重跑一遍評估。一個偵測器準確率的半衰期,是按月算的。
相關文章
Antigravity 2.29 把代理搬進雲端 VM,語音只能放行小事
任務改在 Google 託管的雲端 VM 裡跑,蓋上筆電也不停。代價是本機的 MCP 伺服器、外掛與 skills 全部用不到,而語音只准放行不痛不癢的權限。
NVIDIA 放四顆 Cosmos 3 世界模型,還有一個快 25 倍的解碼器
四顆 16B 檢查點加上後訓練配方與程式碼,可以自己調成自家感測器配置。NVIDIA 同時明說:這些模型能否當訓練環境,還有待測量。
GitHub 熱榜四分之一是 agent skills,安裝方式卻有四套
熱榜 15 個倉庫裡有 4 個是 agent skills 合集,第 5 個附了 skill 包裝。採用沒問題,問題是同一個物件有四套互不相容的安裝方式,以及沒人處理的優先順序與信任問題。
Inkling 2 Small 拿下 86.3%,權重卻還要再等一週
Inkling 2 Small 在 SWE-Bench Pro v2 Hard 拿到 86.3%,還能自己微調別人的模型。但 Apache 2.0 權重還沒放出來,也沒給日期。