重みは凍らせたまま、配線だけを自動で書き換えるHarness²

現在の語彙でハーネスとは、モデルが動くための周辺すべてを指す。システムプロンプト、ツール、メモリ、スキル、オーケストレーション。2年間、エージェントを良くする方法はモデルを良くすることだった。Harness²は別の問いを立てる。重みはそのままにして、足場をタスクごとに自動で書き換えたらどうなるか。
Google Researchが10月に論文を公開し(arXiv 2610.14224)、コードをApache-2.0でオープンソース化した。リポジトリは約2万2000スター。主張は反論できる程度に具体的だ。再帰を1段入れると、GLM-5とGemini 3.5 Flashがベースのハーネスを上回り、WorkBuddy-Benchで最大11.5ポイント、JobBenchで4.5ポイント、LABの部分通過率で11.8ポイント改善する。
ファインチューニングはしない。新しいモデルも出ない。重みはずっと凍結されたままだ。
変更を許される8つの部品
フレームワークが公開している編集可能な部品はちょうど8つで、その一覧が著者の考えるハーネスの最も明快な定義になっている。
システムプロンプト、ガードレール、メモリ、ツールのガイダンス、サブエージェント、スキル、スクリプト、プラグイン。
4つは文脈を作る。2つはツールのインターフェースを定義する。1つは委譲した作業を編成する。1つはミドルウェアを制御する。エージェントを作って、労力の半分がこの8つに消え、モデルには一切向かわなかったと感じたことがあるなら、このリポジトリはその仕事の形式化だ。
8項目の一覧は境界としても機能する。Harness²はモデルを変えられず、再学習もできず、重みに触れない。やることはすべてテキストだ。指示を書き換え、スキルを足し引きし、サブエージェントの説明を変え、呼ぶスクリプトを変える。

ラベルなしでどう良くなるのか
ここが受け入れるのに時間がかかった部分だ。うまくいかないはずだと感じる。
タスクレベルのループはPropose–Probe–Composeと呼ばれ、対比的だと説明される。ハーネス編集器が2種類の編集を提案する。不変編集とドメイン編集だ。候補のハーネスが同じタスクで実行される。次にコンポーザが実行間の振る舞いの差を見て、そこから洗練されたハーネスを組み立てる。
何が欠けているかに注意してほしい。正解のフィードバックだ。報酬モデルも、人間のラベルも、「この答えは正しかった」という信号もない。システムは自分の実行を比べ、どの振る舞いが違うかを問い、望む振る舞いを生んだハーネスを残す。
それが機能するのは、エージェントの失敗の多くがラベルなしで見えるからだ。ツールを不正な引数で呼んだ。同じファイルで3回ループした。要約を書いたが文書を一度も開いていない。軌跡が壊れていることは、正解を知らなくても分かる。対比はそれを浮かび上がらせるのに足りるし、壊れた軌跡を出さなくなったハーネスは、ベンチマークが測る何かで良い点を取る。
2つ目のループが、これを小技ではなくシステムにしている。永続的な 改善ハーネス が、採用したハーネスと各タスクで裏付けのある教訓を蓄積し、次の洗練を導く。つまり、上手くなることに上手くなっていく。そして良くなるのはモデルではない。
ベンチマークの結果と、その読み方
ベンチマークは3つ。専門業務のJobBench、法務のLAB、オフィスとウェブとコードのWorkBuddy-Bench。モデルとハーネスの組み合わせが4つ。再帰は1段。
11.5ポイント、4.5ポイント、11.8ポイントという伸びは、テキストしか変えない手法としては大きい。いつものエージェントベンチマークの主張より信じやすくしている点が2つある。
1つ目、ベースラインは裸のモデルではなく実在のハーネスだ。比較相手はOpenCodeとCodexで、どちらも有能な足場だ。有能な足場にオフィスタスクのベンチマークで11ポイント勝つのは、chat completionsの呼び出しに勝つのとは違う。
2つ目、論文はタスクレベルの再帰予算を増やすとさらに伸びると報告している。k=1でしか効かない手法は、たいてい運の良かったプロンプトの小技だ。予算に応じて伸びる手法は探索をしていて、探索はたいてい本物だ。
絶対値を信じる前に欲しいのは、同じ領域の別のベンチマークでどれだけ残るか、そしてどれだけがハーネスがベンチマークの採点基準を見つけただけか。これは著者への批判ではない。2026年のあらゆるエージェントベンチマークにつきまとう問題だ。
評価の健全性に関する警告がREADMEにある
「Web access」の項で、READMEは言い換えではなく引用する価値のあることを書いている。実行者(executor)のネットワークアクセスは無制限で、Codexはサンドボックスを無効にして動き、公開ベンチマークの採点基準がオンラインで参照できる可能性がある。評価の前に、ベンチマークの答えと採点基準にアクセスできないようネットワーク制限を設定せよ。
見事に直接的な警告であり、分野全体についての告白でもある。エージェントに無制限のインターネットがあり、ベンチマークに公開の採点基準があるなら、測られた改善の一定割合はエージェントが答えを見つけた分だ。著者はそれを指摘し、緩和策を示している。ほとんどのリリースはしない。
ここではいつもより重要だ。ハーネス最適化は、まさにスコアを上げるものを探す過程だからだ。その過程にインターネット接続と公開の採点基準を与えれば、非常に効率の良い採点基準探索器が出来上がる。
エージェントを作る人にとって何が変わるか
手法が持つなら、実務的な転換が3つ。
ハーネスがバージョン管理する成果物になる。 今、エージェントの振る舞いはプロンプトファイルとツール一覧と少数のスキルに住んでいて、誰かがプロンプトを編集すると変わる。Harness²はタスクごとに採用したハーネスを runs/ 以下に保存し、振り返りのメモを添える。4,000トークンのシステムプロンプトのdiffより、はるかに良いレビューの単位だ。
タスクごとの特化が安くなる。 前提は、ハーネスは目の前のタスクに合わせるべきで、1つのグローバル設定として出荷するものではないということだ。再帰1段が手頃なら(ファインチューニングに比べれば手頃だ)、「法務用ハーネスとオフィス用ハーネスがある」はアーキテクチャの判断ではなく実行時の判断になる。
モデルの職務記述が狭くなる。 11ポイントが足場から来るなら、エージェントベンチマークで「モデルの能力」と呼ばれているものの多くは実はハーネスの品質で、リーダーボードは間違った対象を測っている。基盤モデルを製品にする人には居心地の悪い結論で、ワークフローを製品にする人には解放的な結論だ。
正直な限界
Harness²はベンチマークに対して最適化する。あなたが何を望むかを知らない。ベンチマークが利用者の代理として不十分なら(そしてそれは常に少しそうだ)、再帰は自信をもって代理を最適化し、テストには強いが仕事には強くないエージェントが手に入る。
それは論文の欠陥ではない。今の分野全体の形だ。エージェントの測定はとても上手くなり、実際に何をしてほしいかの特定はあまり上手くならなかった。このリリースの面白さは、2つ目の問題を無視できなくしたことにある。ハーネスが探索できる変数になった途端、「ハーネスは何に向けて最適化すべきか」は哲学の問いではなくなり、残された唯一の問いになる。
関連記事
Antigravityのリモートエージェント、クラウドVMで動く代わりに手放すもの
Antigravity 2.29でリモートエージェントが登場し、セッションとツールがGoogle管理のクラウドVMで動くようになった。ノートPCを閉じても作業は続くが、ローカルのMCPサーバーやskillsは失われる。
NVIDIA、世界モデル「Cosmos 3」の派生4種とデコード基盤「VFlash」を相次いで公開
NVIDIAは11月5日、16BのCosmos 3 Nanoを専門化した4つのチェックポイントをOpenMDW1.1で公開し、学習レシピと推論コードも添えた。翌日には幾何出力を並列生成するデコード基盤VFlashを発表している。
GitHubトレンドの4分の1を「エージェントskills」が占め、導入方法は4通りに分裂
11月8日のGitHubデイリートレンド15件のうち4件がエージェントskillsのリポジトリだった。形式は`SKILL.md`とYAMLフロントマターだけで単純だが、導入経路は4製品でばらばらで、重複が優先順位の問題を生む。
Thinking Machinesの「Inkling 2 Small」、594Bの疎なMoEで86.3% 重みは「来週」のまま
Thinking Machinesは11月5日、総パラメータ594B・トークンあたり17B活性の疎なMoE「Inkling 2 Small」を発表した。SWE-Bench Pro v2 Hardで86.3%を記録し、Apache 2.0の重みは公開1週間後以降とされる。