Anthropic が警告、小型 AI モデルが新種のワームになり得る

エクスプロイトではなく重みでできたワーム

Anthropicは今週、重みベースの小さなAIモデルが、原理上はデータセンター規模の計算資源を使わずに、消費者向け機器やIoTクラスの機器の間で自己複製できる可能性を示す研究を公開した。この発見に添えられた警告こそ、二度読む価値がある部分だ。つまり、従来のエクスプロイトコードではなくモデルの重みを土台にした、一連のコンピュータワームを可能にするおそれがあるということだ。

セキュリティの関係者は四十年にわたり、悪意ある命令への防御に取り組んできた。これは悪意ある能力の提案であり、問題の形が異なり、より考察が難しい。

ペイロードがモデルになると何が変わるか

古典的なマルウェアには見慣れた解剖学がある。コードがあり、そのコードは防御側が列挙できる何かを行う。ソケットを開く。ファイルシステムを暗号化する。既知のバグを突いて自己複製する。挙動があらかじめ書き下されているため、防御側もそれを署名、ルール、あるいは検知ヒューリスティックとして書き下せる。

モデルは挙動のリストではない。圧縮された関数であり、それが引き起こしうる害はどこにも明記されていない。「次の機器に自分自身をコピーせよ」という意味の部分を、重みの集合から検索することはできない。その機能は、重みとプロンプトと環境の関係の中にのみ存在する。同じモデルの同一のコピーが、ある文脈では無害で別の文脈では危険になりうるが、変わったのはファイルではない。

ここが核心だ。署名ベースの防御は、ペイロードが実行されるまで不活性だと前提する。モデルは、はるかに特徴づけが難しい形で不活性である。有害な挙動が列挙されているのではなく潜在しているからだ。

なぜIoTが興味深い攻撃面なのか

AnthropicがIoTクラスの機器を強調するのは偶然ではない。そこが現実的な部分だ。

モノのインターネットを構成する機器は数が多く、安価で、パッチ適用が何年も遅れていることが多い。工場、病院、集合住宅、倉庫に置かれ、設置した者によって管理される傾向があるが、それは往々にして誰でもない。個々に見れば、どれも面白くない。集合として見れば、それらは現存する最大の防御の薄い計算基盤だ。

多数の小さな機器に広がる設計は、AI能力の到達範囲を歴史的に制限してきたボトルネック、すなわちデータセンターのコストと希少性を回避する。一つの強力なシステムの代わりに、多数の弱いシステムが得られ、それぞれが注目を引く閾値を下回り、すべてがわずかな役割を担う。これは分散システムにおけるよく知られたパターンだ。それをモデルに適用するのが新しい部分である。

「小ささ」がもたらす居心地の悪い算術

この警告が二年前ではなく今届くのには理由がある。小さなモデルが良くなったのだ。

数十億パラメータのオンデバイスモデルは今や、携帯電話、カメラ、シングルボードコンピュータで動かせるほど有用だ。量子化は高性能モデルを数ギガバイトに収まるよう圧縮し、研究コミュニティはこの一年、サイズの下限を押し下げてきた。こうしたエンジニアリング上の成果は一つ残らず正規の利用者にとっての利点であり、同時に一つ残らず、誰も見ていない場所で高性能モデルを動かすコストを下げる。

ローカルAIを魅力的にするのと同じ傾向、つまりネットワークもデータセンターもなしに動くという性質は、まさにそれを配布の仕組みとして魅力的にする性質でもある。インフラからの自律性が、どちらの場合も要点なのだ。

自己複製が実際に必要とするもの

「複製」という言葉がとかく混同しがちな二つの事柄を分けておく価値がある。

容易なほうはコピーだ。ファイルをあるマシンから別のマシンへ移すのは些細なことで、難しかったことは一度もない。難しいほうは持続性だ。再起動を生き延び、クリーンアップを生き延び、何かがおかしいと気づく利用者を生き延び、機器を隔離する防御側を生き延びること。広がるが持続しないマルウェアは障害だ。持続するマルウェアはインシデントだ。

モデルベースのアプローチを目新しくしているのは、モデルが固定された一つの手法を運ぶのではなく、自らの拡散方法を適応させうる点だ。環境を読み、どの扉が開いているかを判断し、それに応じて行動できる。その柔軟性こそが能力を有用にする性質であり、まさに対策ルールを書くことを難しくする性質でもある。

来歴はすでにぼやけている。しかもそれは誰かが攻撃する前からだ

同じ理由から注目に値する、より静かな懸念がある。小さなモデルを配布しやすくする性質は、それらを追跡しにくくもする。重みはコピーされ、ファインチューニングされ、マージされ、由来の信頼できる記録がないまま新しい名前で再アップロードされる。

これは完全に無害なモデルでもすでに当てはまり、症状はバージョンの混乱と不明瞭なライセンスだ。セキュリティの文脈では同じぼやけ具合はさらに悪い。高性能モデルの出所がしばしば不明だということを意味するからだ。失効、フォレンジック、帰属はすべて、あるものがどこから来たかを言えることを前提とするが、今その前提は成り立っていない。

防御の問いを正直に立てる

署名ベースの防御がこれに対して構造的に弱いなら、何が効くのか。

現実的な答えは地味なものだ。既定での封じ込め、つまり何かが明示的に許したのでなければ、機器がより広いネットワークに到達できないようにすること。証明、つまり機器が実際にどのコードとどの重みを実行しているかを示せるようにすること。来歴、つまりモデルに追跡可能な出所があり、失効できるようにすること。外向き通信の監視、つまり誰も原因を知らないときでも、異常な外向き挙動に気づけるようにすること。

これらはいずれも、決意した敵対者を止めはしない。すべてがコストを引き上げ、コストを引き上げることこそがセキュリティが常にそうであったものだ。モデルベースの拡散に固有の懸念は、防御側が最も頼りにする早期警告、つまり既知の手法が野生で現れるのを見ることを失う点にある。手法が毎回変わるなら、その信号は静かになる。

予測ではなく、能力に関する警告

この研究を読む責任ある方法は、予測としてではなく能力評価として読むことだ。結論は、その経路がもっともらしいということであり、何かがすでにその道を歩いたということではない。この種の研究を公表する研究者は、通常、モデルの欺瞞や報酬ハッキングについて公表するのと同じ理由でそうしている。展開されるもののフロンティアが追い越す前に、理解されるもののフロンティアを押し広げるためだ。

とはいえ、その枠組みは研究室の外にいるすべての人にとって重要だ。セキュリティ分野は、有害なコードは書かれ、したがって読めるという前提の周りに自らを組織してきた。もし有害な能力が、書かれるのではなく学習され、どこにも特に書かれていないものへ圧縮されうるなら、業界の多くの習慣を再検討する必要がある。

楽観的な読み方は、小さなモデルが小さな機器で役立つことは確かな善であり、恐怖はネットワークと更新に関する普通の規律で管理可能だというものだ。悲観的な読み方は、世界には持ち主のいない安価なコンピュータが何十億台もあり、今やそれらを欲しがるもっともらしい理由ができたというものだ。両方が同時に真でありうるし、今後数年の仕事はどちらが優勢になるかを決めることだ。