13,000 個 AI 寫作破綻：Graphite 數出了什麼

寫作分析公司 Graphite 做了一項研究，對任何大量閱讀機器生成文章的人來說都很實用：它不再猜測，而是開始計數。

研究團隊拿了一萬篇在 ChatGPT 問世前發表的文章，請 AI 模型改寫，然後比較這兩堆文字。結果跑出一份約 13,000 個片語的清單，這些片語在 AI 版本中出現的頻率，至少是人類原版的兩倍。不是整句，而是片語。是模型在填補篇幅時，會隨手取用的細微語言習慣。

破綻移動了，但沒有消失

這項發現明顯的部分，是清單本身。更有趣的部分，是它在彙整過程中發生了什麼事。

Graphite 的首席 AI 主管 Greg Druck 表示，趨勢線同時朝兩個方向發展。較舊、較明顯的標記，例如破折號，已被訓練到減少，因為開發者注意到它們並著手處理。但當一組癖性被抹平，另一組就會長進空隙裡。這份清單並沒有隨時間變短，而是變得更不熟悉。

這就是令人不安的核心。人們總是把 AI 偵測當成某種已經解決的問題，不是這樣就是那樣。要嘛偵測器有效，能立刻辨識出模型；要嘛它們壞了、毫無用處。實際情況更像侵蝕。表面被刷洗乾淨，底層紋理仍在。

這項研究最常被引用的說法，是供應商之間的分歧。Druck 觀察到，Anthropic 的 Claude 模型歷代以來，越來越接近標準人類詞彙分布。同樣指標下，OpenAI 的 GPT 模型則越漂越遠。

請以應有的謹慎看待這件事。這只是一家公司的指標，用自家的比較資料集，衡量自家定義的「像人類」。詞頻分布不等於真理。一個模型可以正好落在人類平均值上，卻仍寫出沒有人會寫的句子；一個模型也可以偏離分布，同時寫出真正出色的東西。

不過，方向仍值得注意，因為它與你能感受到的差異吻合。有些模型讀起來像一位被交代要避免陳腔濫調的謹慎寫作者。有些則讀起來像一位極度自信的助理，吸收了某種制式風格後就緊抓不放。

大多數人認識 AI 偵測，是透過整句的露餡。先搭舞台的開頭。結尾俐落的總結。不管內容是否真的有三個部分，都會出現的三段式清單。

模型已更擅長不做這些事，至少在好好要求時是如此。更難磨掉的，是連接組織。這一段縫接到下一段的方式。反射性追求平衡的傾向：每個主張都得到相稱的反面論點，不論證據是否支持。偏愛抽象名詞勝於具體名詞。

這些習慣能在改寫指令下存活，因為它們不是模型有意識遵循的規則。它們是模型所學資料分布的形狀。你可以叫模型別用某個詞。要叫它不要用某種節奏思考，則困難得多。

片語清單也對平均數提出更細微的觀點。破綻並非平均分布。一個模型可能某個片語用得遠比人多，另一個片語用得比人少，形成一種只有在數千次比較中才會顯現的模式。沒有人類讀者會注意到整體。讀者只注意到某句話感覺不對，卻很少知道原因。統計看得見、人卻說不清的落差，正是靠肉眼做好偵測很難的原因。

像這樣的清單有明顯的商業後果。任何賣 AI 偵測的公司，現在都有一套新鮮、具體的特徵可以訓練；任何賣 AI 寫作的公司，現在也有一份新鮮的習慣清單可以避開。

這就是縮影版的軍備競賽。偵測公司挖掘模式，寫作公司把它們訓練掉，清單隨之移動。有趣的問題不是下一代偵測器能否抓出當前版本的模型。而是當雙方都夠強、誰都無法確定時，信任會發生什麼事。

對讀者而言，實際影響是慢慢失去一個本來就不可靠的捷徑。風格向來是弱訊號。抄襲者數世紀以來也用自己的文風寫作，而誠實的寫作者一向會借用片語。新清單只是讓這個弱訊號變得可測量。

對寫作者來說，這項研究讀起來不像威脅，更像鏡子。如果有 13,000 個片語偏向機器文風，那麼一篇倚賴那些片語的草稿，就會讀起來像機器文風，不管裡面的想法有多好。解方不是偵測器。解方是具體細節。

機器寫作預設走向一般，因為一般永遠安全。人類寫作充滿特定事物：街道名、不會湊整的數字、只有親臨現場的人才會知道的細節。這些是再多片語刷洗都假造不出來的部分，因為它們從一開始就不在訓練資料裡。

對編輯而言，實務教訓正好與自動化相反。破綻現在細微到一眼看不出來。你必須為了節奏和缺乏具體細節而讀，而不是為了那個大家都已學會留意的破折號。最可靠的編輯不是刪掉明顯的癖性，而是加入模型不會發明的那種具體細節，這既服務讀者，也恰好同時打敗分類器。

這個故事有一種版本，是偵測問題被解決了。分類器用足夠的片語模式訓練後，能以高準確度標記 AI 文字，大家就回去信任所讀的東西。

那個版本有個問題。偵測器一發表，就變成訓練訊號。下一代模型會受訓避開偵測器所依據的任何特徵，清單又會移動。Graphite 的 13,000 個片語是快照，不是定案。

剩下的是「讀起來像人」意義的緩慢重新定義。每一代模型都提高了泛用能力的下限，也讓剩下的人類標記在對比之下更顯獨特。破綻不會消失，只是遷移成越來越小的手勢，直到最後唯一可靠的訊號，仍是那始終可靠的訊號：這篇寫作是否知道讀者不知道的事，並把它說得明白。

片語清單無法衡量這一點。到目前為止，分類器也不能。這是寫作中抗拒被編目的部分，而最後最重要的，可能正是這部分。