エージェントが毎回同じ手順どおりに動くなら、その手順をコンパイルすればいい

本番環境で動いているエージェントのほとんどは、言語モデルが手順書を読み、その場で各ステップを考えて進めています。返金の処理、チケットの振り分け、請求書の照合。誰かがそのやり方を文書に書き、モデルは実行時にそれを読み、分岐に来るたびに次に何をするかを決めています。
ReTrace という論文は、ごく自然な疑問を投げかけます。手順が実行のたびに変わるわけではないのに、なぜ毎回モデルがステップを決めるのでしょうか。
論文の主張
報告されている数字は、反論できるくらいには具体的です。これは良い兆しです。79 の本番手順で、ReTrace が生成したワークフローはタスクの 93.8% を完了しました。元のエージェントは 96.8% です。コンパイルされたワークフローは、タスクあたりのコストが 24% 安くなりました。
別のベンチマークでは、時間の差はもっと開きます。1.3 秒に対して、同等のエージェントは 170 秒です。
この二つを並べると、取引の形が見えてきます。完了率を 3 ポイントあきらめる代わりに、コストが四分の一安く、実時間はおよそ 1% で終わるタスクが手に入ります。1 日に 10,000 回動くワークフローにとっては、そのワークフローの存在理由が変わる話です。
どうコンパイルするのか
この仕組みは、プログラムを抽出する作業に近いものです。プロンプトをうまく書く話ではありません。
システムはエージェントが手順をたどる様子を観察し、各ツール呼び出しの背後にある理由を抜き出します。その理由は文章として保存されません。実行をまたいで繰り返し現れる条件は簡潔なルール文書に統合され、その文書が実行可能なワークフローにコンパイルされます。ステップ、分岐、ツール呼び出しからなるグラフで、判断の経路にモデルが入りません。
結果として、モデルの判断はビルド時に一度だけ取り込まれ、再利用されます。実行時に動いているのは、その判断から導かれたコードだけです。
AOT コンパイルがインタプリタより優れているという議論に聞こえるなら、そのとおりです。インタプリタは柔軟で、その柔軟さの代金を実行のたびに払います。コンパイラは一度だけ払って、その後は速く動きます。そして入力がコンパイル時の前提と合わなくなったところで壊れます。
3 ポイントはどこに消えるのか
正直に問うべきは、コンパイルされたワークフローが落とす 3% がどのタスクなのかという点です。論文の書き方からすると、答えは珍しいケースだということになります。
手順書は通常の経路を覆い、例外については軽く触れるだけです。それを読むエージェントは、合わない案件に直面したときに臨機応変に動けます。確認の質問をする、別のツールを試す、顧客のアカウントに付いているフラグに気づく。そのフラグがすべてを変えるかもしれません。コンパイルされたワークフローは、コンパイルされたとおりにしか動きません。案件がルール文書の外に出たら、失敗するか、自信たっぷりに間違ったことをします。
だからこそ 24% のコスト削減は面白く、導入を決めるのは 93.8% のほうです。失敗したタスクを人間が 1 件 $10でやり直すワークフローなら、計算資源を 24% 節約してエスカレーションが 3% 増えるのは、差し引きで損になりえます。失敗したタスクを下流の検証器が捕まえて自動でやり直すワークフローなら、同じ数字はただの利益です。
論文は失敗を種類別に分解していないようです。少なくとも現時点で読める範囲では。手順を本番に移す前にチームが必要とするのは、まさにその分解です。
エージェントの技術スタックについて言えること
この 2 年間を支配してきたのは、モデルが良くなればエージェントも良くなるという見方です。ReTrace は別の軸を指しています。エージェントの仕事の一部は本当に開かれていて、どのステップにもモデルがループに入る必要があります。別の一部は決定木が固定された手順で、そこにモデルを走らせるのはトークンの無駄です。日付を解析するために言語モデルを呼ぶのと同じ無駄です。
面白いのは、その境界が宣言ではなく発見できることです。自分のワークフローのどれが手続き的かを、前もって決める必要はありません。エージェントを動かし、何をしているかを見て、抽出のステップに判断パターンがコンパイルできるほど安定しているかを教えてもらいます。
これは組織的な帰結を持ちます。コンパイルされたワークフローは読める成果物です。誰かが開いて、実際のルールを見られます。誰も文書にしなかったルールも含まれます。たとえば「返金が 500 を超えたら人間に回す」というルールが存在するのは、エージェントが事例から推論したからだけです。これは会話ログより良い監査証跡で、コンプライアンス部門が承認できる類のものです。
誰も解決していない保守の問題
コンパイルされたワークフローには、エージェントにはない故障の仕方があります。ドリフトです。返金ポリシーを変えても、コンパイル済みのグラフは誰かが再コンパイルするまで古いほうを実行し続けます。ツールのスキーマを変えると、ワークフローはもうその引数を受け付けない関数を呼び続けます。
手順書を読むエージェントにも同じ問題はありますが、程度は軽いです。今の文書を読むので、ポリシーの変更は次の実行で反映されます。今のスキーマも読むので、名前が変わった引数にも対応できます。その適応性の代金を毎回の呼び出しで払うわけで、ReTrace の主張は、あなたが払いすぎているというものです。
対処法は明白で地味です。変更時に再コンパイルし、ルール文書をバージョン付きの成果物として、コードと同じレビュー工程に載せる。ツール群がそれを簡単にしてくれるかどうかが、研究結果と製品の差になります。
試すべきか
書かれた手順に従うものを、それなりの量で動かしているなら、自分のデータで計算してみる価値があります。ワークフローを一つ選び、数百回の実行を記録し、文書にない経路をエージェントがどれくらいの頻度で選んだかを見ます。答えがほぼゼロなら、モデルに switch 文の役をさせるためにお金を払っていることになります。
答えがしばしばなら、その手順はあなたが思うほど手順ではありません。コンパイルすると、ビジネスが本当に気にしている案件で失敗するワークフローが出来上がります。
この論文のいちばん有用な貢献は、これを測定可能にしたことかもしれません。2 年間、エージェントについての議論は能力の話でした。そして能力は値付けが難しい。ReTrace は特定の判断に値段をつけます。モデルの判断は 1 ステップあたり何ドルで、何秒なのか。79 の手順では、答えは計算資源が 24% 減、レイテンシが 99% 減、代わりに完了率が 3 ポイント減でした。財務チームが扱える数字です。
論文の全文は arXiv にあり、現時点で出回っている解説は実装の詳細に乏しいので、数字はレシピではなく主張として扱ってください。ただ、投げかけている問いは正しく、大規模にエージェントを動かしているチームは、請求書を持った誰かに必ずこの問いを向けられます。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。