AI文章が自らを露呈する13,000の方法がカタログ化された

文章分析企業Graphiteの調査は、機械生成の文章を多く読む人にとって有用なことをした。推測をやめ、数え始めたのだ。

チームはChatGPTが存在する前に公開された10,000の記事を取り、AIモデルに書き換えさせ、2つの山を比較した。そこから出てきたのは、AI版が人間のオリジナルよりも少なくとも2倍の頻度で現れる約13,000のフレーズのリストだった。文全体ではない。フレーズだ。モデルがスペースを埋めるときに手を伸ばす、小さな習慣的な言い回しである。

痕跡は消えず、移動した

その発見の明白な部分はカタログ自体である。より興味深いのは、それが組み立てられる際に起こったことだ。

Graphiteの最高AI責任者、Greg Druckは、トレンドラインが同時に2つの方向に走っていると述べた。emダッシュのような古くて目立つマーカーは、開発者がそれに気づき対処したため、訓練によって減った。しかし、一連の癖が滑らかにされると、別の癖がその隙間に入り込む。カタログは時間とともに短くならなかった。むしろ、見慣れないものになった。

それが、この問題の不快な核心だ。人々はAI検出を、どちらかの方向で解決済みの問題として扱い続けている。検出器が機能してモデルを即座に見破れるか、壊れていて役に立たないか。現実はむしろ浸食に近い。表面は洗い流されるが、下の木目は残る。

2つのラボ、2つの方向

この研究で最も引用されるのは、ベンダー間の分裂だ。Druckは、AnthropicのClaudeモデルが世代を重ねるごとに標準的な人間の語彙分布に近づいていると観察した。同じ尺度で見ると、OpenAIのGPTモデルは遠ざかっている。

それは当然の注意をもって受け止めるべきだ。これは一企業の指標であり、独自の比較セットで、独自の「人間らしさ」の定義を測っている。語彙頻度分布は真実ではない。モデルは人間の平均の真上に位置しながら、誰も書かないような文を生成することができ、また分布から外れながらも本当に優れたものを書くことができる。

それでも、その方向性は注目に値する。なぜなら、感じ取れる違いと一致するからだ。あるモデルは、決まり文句を避けるように言われた慎重な書き手のように読める。別のモデルは、ハウススタイルを吸収して手放さない、非常に自信に満ちたアシスタントのように読める。

なぜ文レベルよりもフレーズレベルの痕跡の方が重要なのか

ほとんどの人は、文全体の露呈を通じてAI検出に出会った。舞台設定の冒頭。最後のきちんとした要約。内容に3つの部分があるかどうかに関係なく現れる3部構成のリスト。

モデルは、少なくとも丁寧に頼めば、そうしたことをしないのが上手くなった。削り落とすのが難しいのは、結合組織だ。段落が次の段落と縫い合わされる方法。反射的にバランスへ向かう動き。あらゆる主張に、証拠が支えているかどうかに関係なく、釣り合う対抗要素が与えられる。具体的な名詞よりも抽象的な名詞を好むこと。

これらが書き換え指示を生き延びるのは、モデルが意識的に従うルールではないからだ。それらは、モデルが学んだ分布の形である。モデルに単語を使うのをやめろと言うことはできる。しかし、特定のリズムで考えるのをやめろと言うのはずっと難しい。

このフレーズリストは、平均についてもっと微妙な点を指摘している。痕跡は均等に分布しているわけではない。モデルは、あるフレーズを人間よりはるかに多く使い、別のフレーズは少なく使うかもしれない。そのパターンは、数千の比較を通じてのみ現れる。人間の読者は集合体に気づかない。読者は違和感のある文に気づくが、なぜかを知ることはほとんどない。統計が見えるものと、人が言葉にできるものとの間のギャップこそ、目視で検出をうまくやるのが難しい理由である。

これが餌となる検出市場

このようなリストには明らかな商業的帰結がある。AI検出を販売する企業は今、訓練に使える新鮮で具体的な特徴セットを持ち、AIライティングを販売する企業は今、避けるべき習慣の新鮮なリストを持っている。

それは縮図としての軍拡競争だ。検出企業はパターンを採掘し、ライティング企業はそれらを訓練で排除し、カタログは移り変わる。興味深い問いは、検出器の次のバージョンがモデルの現行バージョンを捕まえられるかどうかではない。双方がどちらも確信が持てないほど上手くなったとき、信頼に何が起こるかだ。

読者にとって、実際の効果は、そもそも信頼できるほど機能しなかった近道を徐々に失うことだ。スタイルは常に弱いシグナルだった。剽窃者は何世紀にもわたって自分の声で書いてきたし、誠実な書き手は常にフレーズを借用してきた。新しいカタログは、その弱いシグナルを測定可能にするだけだ。

出版する人にとってこれが意味すること

書き手にとって、この研究は脅威というより鏡のように読める。13,000のフレーズが機械的な文章に傾くなら、それらのフレーズに頼る草稿は、アイデアがどんなに良くても機械的な文章として読まれる。解決策は検出器ではない。解決策は具体性だ。

機械の文章は、一般が常に安全であるため、一般にデフォルトする。人間の文章は特定で満ちている。通りの名前、丸まらない数字、そこにいた人だけが知る細部。それらは、どれだけフレーズを削っても偽造できない部分だ。なぜなら、そもそも訓練データに決して含まれていなかったからだ。

編集者にとって、実践的な教訓は自動化の反対だ。痕跡は今や、ちらりと見ただけでは捉えられないほど微妙になっている。誰もがすでに探すことを学んだ、露呈するemダッシュではなく、リズムと具体性の欠如を読まなければならない。最も信頼できる編集は、明らかな癖を削除することではない。モデルが発明しなかったような具体的な細部を加えることだ。それは読者に役立ち、同時に分類器を打ち負かすことになる。

誰もきれいに勝てない軍拡競争

この話には、検出が解決されるバージョンがある。これらのフレーズパターンを十分に訓練した分類器が、AIテキストを高い精度でフラグし、誰もが読むものを再び信頼するようになる。

そのバージョンには問題がある。検出器が公開された瞬間、それは訓練シグナルになる。次のモデルは、検出器が注目するものを避けるように訓練され、カタログは再び移り変わる。Graphiteの13,000のフレーズはスナップショットであり、決着ではない。

残るのは、「人間のように読める」とは何かをゆっくりと再定義することだ。モデルの各世代は、一般的な能力の床を上げ、各世代は、残された人間のマーカーを比較によって少しずつ際立たせる。痕跡は消えない。それらはますます小さな仕草へと移行し、最後に残る唯一の信頼できるシグナルは、常に信頼できたものになる。つまり、その文章が読者の知らない何かを知っており、それを平易に語っているかどうかだ。

フレーズリストはそれを測れない。これまでのところ、分類器にもできない。それはカタログ化に抵抗する文章の部分であり、最終的に最も重要になる部分かもしれない。