Pangram 的影像偵測報了 99.96%,測試集也是它自己建的

Pangram Labs 發布影像偵測器那一週,地球兩端各有一位攝影師在跟陌生人爭自己的照片到底是不是真的。
紐西蘭這邊,天文攝影師 Brendan Larsen 九月在塔拉納基山上守了兩個小時,拍了 578 幀,之後又花大約 45 小時在 Photoshop 裡疊圖。大部分時間用在擦星星上,這樣大約 1,400 顆衛星和 14,000 條軌跡才會顯出來。圖在十月中旬發出去,幾千萬次瀏覽,其中一部分人說是 AI 做的。他早有準備,把拍攝過程錄下來一併發了,現在的情況就是這樣:把圖做出來只算容易的那一半。
英格蘭那邊,攝影師 Dave Wilson 看到帳號 Aerial Perspectives 發的 Whitehaven 燈塔風暴照,判斷當時的飛行條件根本拍不出這張。他把檔案丟進 OpenAI 的 Verify 服務,那個服務查 C2PA 中繼資料和 SynthID 浮水印,結果命中了。再翻這個帳號的其他作品,幾乎全被標了出來。公司把風暴那張歸咎於一位前團隊成員,承認它不該被當成攝影作品呈現,但否認整個作品集是合成的,解釋說他們透過 ChatGPT 加浮水印,所以才會出現 SynthID。
最後這個解釋,往好了說是對工作流程的合理描述,往壞了說是方便得過分,而市面上沒有一個偵測器能判定它屬於哪一種。
Pangram 這次發了什麼
Pangram 靠文字偵測起家。十一月初的同一週,它用兩個模型把業務擴到了影像和影片。
Pangram Image 1.0 是主力。賣點是偵測能扛住壓縮、小檔案和局部修改,而這正是網路上流傳的多數影像的真實狀態。最小解析度降到了 256×256 像素,不過公司標明,圖片短邊低於 512 像素時結果會不夠可靠。
Image Flash 1.0 是更小的那個模型,處理影片時逐幀跑。
有意思的地方在準確率。Image 1.0 的 99.96% 來自 Pangram 自建的資料集:讓 12 個前沿影像生成器為 100 張真實照片生成了 1,200 張對應圖。Flash 1.0 在 DF26 上拿到 98.7%,那是 Pangram 引用的一項研究;它還在自己那套 1,529 條影片的測試集上贏過幾家主流偵測服務。
報導這次發布的德國媒體 heise 直說,這些數字沒有一個經過獨立驗證。
測試集才是全部爭論所在
一個偵測器聲稱的準確率,取決於它拿什麼圖來測。Pangram 的主力數字來自一個平衡資料集,每張真實照片配十二張合成孿生圖,一個生成器一張,實驗設計很乾淨。這也意味著模型的成績是在公司自己挑的那十二個工具上評出來的,公布的數字對第十三個工具的表現一個字都沒說。
這話對 Pangram 有點苛刻,因為幾乎所有偵測廠商都是這樣報數的。也正因為如此,99.96% 這種數字最老實的讀法是:它是在良好條件下測出來的上限,別當成實際場景的估計。
還有第二個理由讓人別把這個數字抓太緊。歐盟 AI 法案的透明度要求從 2026 年 8 月起分批生效,揭露正在從客氣變成合規義務。監管會製造對數字的需求,買方需要一個能指著說的數。廠商自己報自己的數,是這種需求下可預期的結果,沒跟上的是獨立評測。
256 像素這條線比標題更值得看
準確率聲明底下埋著一個更有用的工程細節。多數偵測系統都想要一張像樣的圖。社群平台會把所有東西重新壓縮、裁切、縮小,所以一個能處理 256 像素縮圖的偵測器,跟一個必須要原始檔案的偵測器,做的是兩件不同的事。

它下面的限制同樣實際。短邊低於 512 像素時,Pangram 說結果會變得沒那麼可靠。也就是說模型會對一小塊裁切圖給出判斷,同時告訴你這個判斷不太穩。
做查核的人會明白,這個組合比單一準確率數字有用。面對一張裁得很兇的截圖,肯說「我不知道」的偵測器,比一個永遠有答案的偵測器更可靠。
影片那半邊更難
影像偵測受到關注是因為爭吵都發生在那裡,但差距最大的地方一直是影片。一段生成的片子就是幾百幀,像素級的浮水印得扛住重新編碼、裁成直式,以及社群平台在上傳時對它做的任何處理。
Pangram 的辦法是用 Flash 1.0 逐幀查。這比把整段影片當成一個物件處理要便宜,產出的是一個分布而不是單一結論,也更接近人工複核的方式:拖進度條,在可疑處停下,湊近看。
它帶來的細微變化是,一段部分生成的影片現在有了可量化的答案,而不再是簡單的有或沒有。廣告和短影音製作都依賴混合素材,真實的底片加上生成的插入鏡頭,而對揭露規則來說,真正要緊的問題是合成的幀佔多少比例。
偵測能做什麼,不能做什麼
Aerial Perspectives 這個案例把邊界擺得很清楚。浮水印命中是強證據,說明有生成模型碰過這個檔案。乾淨的結果什麼都證明不了,因為偵測器只認它追蹤的合作方浮水印,在別處生成的圖查出來就是乾淨的。Cult of Mac 在寫蘋果於 iOS 27.2 給 Image Playground 加上 SynthID 時說過同一件事:這個檢查是單向的。
這種不對稱讓圖片編輯的實際流程從一步變成三步。先用 OpenAI Verify 或 Google 的 About This Image 面板查來源中繼資料,檔案帶 C2PA 資料時那裡會顯示出來。然後反向搜圖,找最早出現的那一次。最後看畫面本身,因為手、文字和首飾透露的東西仍然比任何分類器都多。
Larsen 的案例補上了沒人解決的那一塊。一張由 578 幀疊出來的真實照片看起來像合成的,因為這個過程產出的東西眼睛從沒見過。偵測模型沒有這一類,留言的人也沒有。
Pangram 這次發布是實打實的一步。影片偵測尤其薄弱,一個逐幀模型能做到這個價位,確實補了個缺口。接下來幾個月值得盯的,是 Pangram 之外有沒有別人公布一個跟它吻合的數字。
相關文章
ByteDance 的 SeedRealtime 每秒只取兩張影格,再自己決定什麼時候開口
豆包 Seed-Realtime-1.0 把攝影機畫面、螢幕畫面和語音合成一個全雙工工作階段,每秒最多推兩張影格。有意思的決定是影格率、主動說話,以及預設就開著的審核回覆。
一台 server、一個 AI 主播:夜間直播背後的程式碼
open-yoki 是一個每晚在 Binance Square 直播的 AI 主播的生產程式碼,人格、聲音和跟錢有關的功能都拿掉了。headless Chrome 畫幀,ffmpeg 推 RTMP,一個 Markdown 資料夾決定她的情緒和要發的東西。
Pinky 讓 agent 開你的手機,並且一直按著傳送鍵,直到你按下允許
Pinky 把任何 MCP agent 接到真的 iPhone 或 Android 手機上,審批在自己的閘道裡執行,不寫成 prompt。銀行類 App 對 agent 不可見,密碼欄位碰不到,在 Android 13 上 agent 還能拿到一塊隱藏的第二螢幕。
有人把全世界的法律放進了 git,於是你可以 blame 一條法條
global-law 把每個國家的法令存成一個 git 儲存庫,每次 commit 就是一部在某個已知日期生效的法律。你可以對一條法規跑 log、blame、show 和 diff,查某一天各國在施行什麼法,並透過 MCP 把整份語料交給助理。