← ブログに戻る
Ai読了目安 12 分

Googleはエージェントの足場を最適化の対象にした。その上にもう一段ループを重ねている

公開日 2026年11月14日
Googleはエージェントの足場を最適化の対象にした。その上にもう一段ループを重ねている

ハーネスとは、モデルの外側にあってモデルを動かすための一式だ。システムプロンプト、ツール定義、記憶、スキル、サブエージェント、オーケストレーション。この配置を調整する作業をハーネシングと呼ぶ。多くのチームは週末に一度だけ手作業でやって、ろくに仕上がらないまま止める。

Harness Squared は Google Research が GitHub で公開しているもので、スターは23,849。この作業をループにし、その上にもう一段ループを足した。

論文は arXiv:2610.14224、ライセンスは Apache 2.0。リポジトリには、これは Google の公式サポート製品ではないとはっきり書いてある。著者は Ruiyao Xu、Yanfei Chen、Tomas Pfister。作られたのは、彼らが「開かれた世界での再帰的エージェント・ハーネシング」と呼ぶもののためのフレームワークだ。ハーネスを設計した時には存在しなかったタスクに、エージェントが後から出くわす状況を扱う。

再帰は二段、重みは凍結

モデルは最後まで変わらない。良くなるのはすべて足場の中だ。

黒いマット面の上で、非常に細い真鍮のリング3本が互いをくぐり抜けている。そばに旋盤で削られた真鍮の削り屑が散らばっている。

タスクレベルの再帰は、目の前のタスクに合わせてハーネスを鍛える。仕組みは対照ループで、著者は Propose、Probe、Compose と名付けた。エディタが変更案を出し、エグゼキュータがその変更を入れた候補を同じタスクで走らせ、コンポーザが実行間の挙動の差から洗練されたハーネスを組み上げる。

大事なのは、ここに正解のフィードバックが要らないことだ。二つのハーネスが同じタスクを走り、違う振る舞いをした。その差が信号になる。どちらの答えが正しいかを知る必要はなく、足場を変えたときに何が変わったかだけ分かればいい。

ハーネシングレベルの再帰はその上に座る。タスクが終わるたびに、経験リフレクタが採用されたハーネスと、証拠の裏づけのある学びを取り出し、持続する改善ハーネスに書き込む。次のタスクはもっと良い出発点から始まる。

編集できる八つの部品

フレームワークはモデルの周りに八つのコンポーネントを置き、実行時に何をするかでグループ分けしている。

システムプロンプト、ガードレール、記憶、スキルが文脈を作る。ツールガイダンスとスクリプトがツールのインターフェースを定義する。サブエージェントが委譲された作業を引き受ける。プラグインがミドルウェアを握る。

並びを見れば、エージェントを作った人には見覚えがある。珍しいのは、八つすべてを探索空間として扱う点だ。ふつうは開始時に一度決めて、そのままにする。

数字の話

三つの専門ベンチマーク、四つのモデルとハーネスの構成で、Harness Squared を一回まわすだけで GLM-5 と Gemini 3.5 Flash はそれぞれのベースハーネスを上回った。

伸びは WorkBuddy-Bench で最大11.5ポイント、JobBench で4.5ポイント、LAB の部分通過率で11.8ポイント。タスクレベルの再帰予算を増やすとさらに伸びた。ここが一番効く結果だ。一回で飽和せず、計算量に応じてスケールすることを意味する。

ベンチマーク名を出す価値がある。ハーネスがなぜ効くのかが、そこで説明できるからだ。JobBench は専門職の仕事、LAB は法務、WorkBuddy-Bench はオフィス、ウェブ、コードの三つのサブセットに分かれる。強いモデルに凡庸な足場を付けると、弱いモデルに良い足場を付けたものに負ける。ハーネス最適化が狙うのは、まさにその条件だ。

実際の動かし方

前提は Linux、Python 3.12、それに uv だ。

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

このデモは二つの再帰モードを、決定論的なエディタと本物の Python 実行で走らせる。モデルの認証情報は要らない。金を使う前にループの形を見るなら、これが一番速い。

モデルを使うベンチマークはもっと要る。Node.js 20 以降、Google Cloud CLI、ベンチマークごとの依存。LAB は Pandoc と Poppler、WorkBuddy-Bench は Docker。そのうえでサンプルの環境ファイルをコピーし、Vertex AI のプロジェクトとモデル ID を指し、application default credentials で認証する。

ベンチマークの実行は四つに分かれる。セットアップ、チェック、実行、判定とレポート。

harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel --only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel

判定とレポートは、改善を回したときと同じベンチマーク、エグゼキュータ、サブセット、再帰予算、モード、シードを使わないと数字が合わない。`--dry-run` はモデルを呼ばずにタスク選択だけをプレビューする。

再帰モードは二つ。parallel は汎用候補を k 個、領域特化候補を k 個試し、共有された証拠から k 個の合成を作る。sequential は洗練されたハーネスと蓄積した証拠を抱えたまま k 段階進む。リポジトリ自身の要約はこうだ。parallel は広く探り、sequential は深く鍛える。

二度読むべき警告

README にネットワークアクセスの節がある。後から付け足したように読めて、実際はそうではない。エグゼキュータのネットワークは制限なしで、Codex はサンドボックスを切って走る。公開ベンチマークの採点基準はオンラインで手に入るかもしれない。

つまり、評価中のエージェントが答えを探しに行ける。著者は評価前にネットワーク制限を設定し、ベンチマークの答えと採点基準への到達を防ぐよう書いている。率直な告白だ。そして同じことが、あちこちの公開エージェントベンチマークで数字を静かに膨らませている。

この枠組みが効く理由

2026年のエージェント開発は二つの陣営に分かれる。モデルを大きくするか、手作りの足場を複雑にするか。この論文は、足場そのものを最適化の対象にすべきだと言い、しかもそのループはラベルなしで回ると主張する。

部品リストには、もっと静かな主張が埋まっている。八つの部分を別々に編集できるなら、「プロンプト」のおかげだと思っていた改善は記憶のものかもしれないし、モデルのせいにした悪化は三つ前のバージョンで足したガードレールのせいかもしれない。この粒度でハーネシングをやると、手作業の調整には絶対に残らない監査証跡が残る。

本番でエージェントを動かす人には実務的な意味がある。自分のタスクでハーネスを良くするのに、ラベル付きデータセットは要らない。二つの変種と、その挙動を比べる手段があればいい。

限界も同じくらい実務的だ。伸びは採点基準が公開された専門ベンチマークで測られている。採点基準に合わせて鍛えたハーネスは、その基準に合わせたハーネスだ。採点器を誰も書いていないタスク分布でも通用するかは未解決で、論文も通用すると主張していない。

もう一つ、制約はコードの側にある。本文には書かれていない。フレームワークはエグゼキュータを二つ支える。既定は OpenCode、フラグを付けると Codex で、両者の挙動は同じではない。片方に合わせて鍛えたハーネスは、その片方のためのハーネスだ。ラボをまたいで結果を比べる人は、どのエグゼキュータが出した数字か確認する必要がある。

結果は `runs/` の下に、ベンチマークとサブセットごとに整理されて置かれる。採用されたハーネスとリフレクションのメモも入っている。読むべきはそこだ。スコアだけを見ない。システムが残すと決めたハーネスこそ、面白い成果物だ。

関連記事

Pinky は agent に自分のスマホを操作させる。送信ボタンは、あなたが許可を押すまで押さえたまま

Pinky はどんな MCP agent でも本物の iPhone や Android につなぎ、承認をプロンプトではなく自前のゲートウェイで強制する。銀行アプリは見えず、パスワード欄は通行止め、Android 13 では agent に隠れた2枚目の画面が渡される。

サーバー1台、AI配信者1人:夜のライブ配信を動かすコードの中身

open-yoki は、毎晩 Binance Square で配信する AI ホストの本番コードで、人格・声・お金に関わる機能は取り除かれています。headless Chrome がフレームを描き、ffmpeg が RTMP を押し、Markdown フォルダが彼女の気分と投稿内容を決めます。

SoduWork の依頼は、チャットが止まったときではなく、依頼した人が承認したときに終わる

SoduWork はセルフホストのワークベンチだ。依頼には着手前に受け入れ基準が書かれ、納品は別の harness がレビューし、最後は人が承認する。うまくいった進め方はプラグインとして保存され、チームの他の人がそのまま実行できる。

世界の法律を git に入れた人がいる。だから法令も blame できる

global-law は各国の法令を git リポジトリとして持ち、1 つの commit が既知の日に効力を持った 1 つの法律にあたる。条文に対して log、blame、show、diff を実行でき、ある日の各国の施行状況を調べ、コーパス全体を MCP 経由でアシスタントに渡せる。