衛星写真がロボットの訓練データになる時代

機械に新しい場所を教える最速の方法は、そこまで機械を走らせることではないかもしれない。今月発表された2つの成果は、正反対の方向から同じアイデアを指し示している。一方は衛星画像を作業現場のシミュレーションに変え、ロボットが現地に到着する前に練習できるようにする。もう一方は、動画ワールドモデルの土台にある幾何学を修正し、ロボットが想像するものと物が実際にある場所が一致するようにする。

農機や鉱山機械向けの自律化ソフトウェアを手がけるBonsai Roboticsは、10月2日にBonsai Worldを発表した。このシステムは農場や鉱山、その他の不整地の衛星画像から出発し、その平面的な映像を構造化された3Dシミュレーションに変換する。機械はその中で実際の走行経路を予行演習できる。同社によれば、粉塵、瓦礫、動物、車両、地盤の変化など、車両群が実際には遭遇したことのない状況を重ね合わせることができるという。

その背後の計算基盤はベンダーをまたぐスタックだ。GoogleのGeminiビジョンモデルが衛星画像を読み取り、構造化されたマップを構築する。Bonsai自社のワールドモデルは、100万エーカー以上で収集された5,000万件超の実世界サンプルで追加学習されており、地上レベルの視点を生成する。トレーニングはNvidia A100 GPUを搭載したGoogle A2仮想マシンで実行され、オンデマンドの環境生成にはRTX PRO 6000 BlackwellサーバーGPUを搭載したGoogle G4マシンを使用する。土台にはNvidiaのCosmosモデルがある。

商業上の主張は立ち上げ時間に関するものだ。新しい作物、新しい機械、新しい現場で自律化ソフトウェアを動作させるには、通常はフィールドデータを収集し、場所ごとに反復改良する必要があり、時間もコストもかかる。もっともらしい再構成に対して事前に予行演習できれば、機械はより完成に近い状態で現場に到着する。Bonsaiはこのアプローチがフィールドでのデータ収集を置き換えるのではなく削減すると説明しており、これがこの主張の誠実な言い方である。

誰も見ていない幾何学の問題

画像からのシミュレーションは、生成される3Dが正確である場合にのみ機能する。そこで今月arXivに公開された論文が興味深くなる。チェコ工科大学とInriaのチームが発表したDepthWorldは、Conference on Robot Learningに採択されており、多くのデモの足元をすくうある告白から始まる。現在の動画ワールドモデルはRGBのみで学習されており、フレーム単位では正しく見えるロールアウトを生成するものの、一貫した3D世界としては構成されない、というものだ。

その失敗は容易に想像できる。RGBのみのワールドモデルに開いた洋服ダンスのあるシーンを与えると、開いた扉と固体の表面を区別できず、ロボットアームが何もない空間に衝突する様子をシミュレートしてしまう。このモデルをポリシーの評価に使うなら、こうした誤りは役に立たないどころか有害なシグナルを生む。実際の失敗のように見えて、実際には失敗ではないからだ。

チームの最初の修正はデータに関するものだ。彼らは学習ベースのステレオ深度と結合因子グラフを組み合わせたキャリブレーションパイプラインを構築し、同じ物理ロボットから収集されたすべてのエピソードを統合することで、各シーンのカメラ外部パラメータとともにそのロボット固有の共通キネマティクスを復元できるようにした。最大の公開遠隔操作データセットであるDROIDに適用した結果がDROID-3Dだ。7万件超のエピソードにわたる高密度のメートル法深度と再キャリブレーションされた多視点外部パラメータを提供し、外部カメラについては90%のエピソードで再投影誤差が0.7ピクセル未満となっている。

2つ目の修正はアーキテクチャに関するものだ。学習済み動画モデルを再初期化して深度を追加する方法は、すでに学習した視覚的・運動的な事前知識を破壊する恐れがある。そうではなく、RGBと深度を横並びにタイル状に配置してより広い潜在グリッドを構成し、位置埋め込みを拡張してそれを覆う。学習済みの部分には手を加えずに済む。その見返りとして得られた結果は、私が読んで驚いたものだった。深度を第2の予測ターゲットとして追加すると、同じ学習予算でRGB予測自体が1.48 dB PSNR改善したのだ。

この数字が論文の外で重要な理由

ワールドモデルが計画に役立つのは、長いロールアウトにわたってその幾何学が保たれる場合だけであり、ここでNvidiaのPointWorldとの比較が興味深くなる。PointWorldは短いホライズンでの移動物体に対してより正確だったが、DepthWorldは時間経過による劣化がはるかに小さく、シーン全体の誤差が8ミリから9ミリに増えるのに対し、もう一方は8ミリから18ミリに増えた。数分先まで計画するシステムでは、出発点よりも曲線の形のほうが重要である。

Bonsai WorldとDepthWorldを並べてみると、あるパターンが見えてくる。フィジカルAIの学習におけるボトルネックは、もはや計算資源でもモデル能力でもなくなった。それは合成世界の品質、とりわけその内部の幾何学がメートル法に基づき、キャリブレーションされ、安定しているかどうかである。これはモデリングの問題である前に、データエンジニアリングの問題だ。DROID-3Dの貢献はアーキテクチャではなくパイプラインである。そもそもそのようになるよう設計されていなかったデータセットからミリ単位で正確なカメラ姿勢を復元し、それを個々のエピソードを信頼するのではなくエピソードを統合することで実現している。

何が改善し、何が改善しないか

得られる利点は現実的で、範囲は限られている。Bonsai Worldは衛星画像が入手でき、地形が支配的な変数となる構造化された屋外環境で機能する。農業と露天掘り鉱山はよくカバーできる。散らかったキッチンや病院の廊下はほとんどカバーできない。そうした空間は軌道上からは見えず、その難しさは地面ではなく物体に由来するからだ。同社自身の表現である「過酷で非構造化された環境」は、市場の説明であると同時に適用範囲の宣言でもある。

DepthWorldは逆の限界を持つ。1台のロボットから多数のエピソードがあり、そのキャリブレーションを統合できる場合に最も強く、これはまさに研究ラボの環境であり、ハードウェアが混在する実運用のフリートではあまり一般的ではない。論文自体のベンチマークも単一の公開データセットである。

もうひとつ、指摘しておく価値のある検証ギャップがある。Bonsaiは発表時に独立した現場性能の測定結果も、オープンなモデル重みも公開していない。誰かが社外で試すまでは、ワールドモデルは主張にとどまる。DepthWorldは逆のケースだ。公開された論文、採択された学会、再現可能なパイプラインがあり、たとえ誰もこの特定のモデルを使わなくても、他のチームが自前のワールドモデルをどう構築するかに影響を与えるだろう。

ロボティクスチームが警戒すべき点

もし合成環境が自律化の事前学習の標準手段になるなら、シミュレーションの品質は多数の導入にまたがる単一障害点となる。生成器に埋め込まれたバイアスは、照明であれ地形であれ障害物の分布であれ、それで学習したすべての機械に伝播する。しかもそれは目に見えない形で起こる。失敗した機械は、それを明らかにするために現場に出ることがないからだ。

だからこそ、合成版が説得力を持って見えても、実世界でのデータ収集をループに残しておくべきだという議論になる。フィールドデータは、提供する事例によって、そして何よりシミュレータに課すチェックによって、その価値を正当化する。今月の2つの成果はいずれもこの点で分野を前進させる。一方はシミュレーション環境の生成を安価にし、もう一方はその内部の幾何学を誠実にする。どちらも、最終的に機械を外に走らせて何をするかを見る必要をなくしてはいない。