NVIDIA、世界モデル「Cosmos 3」の派生4種とデコード基盤「VFlash」を相次いで公開

NVIDIAは11月5日、Cosmos 3のチェックポイント4種をHugging Faceに置いた。いずれも16BパラメータのCosmos 3 Nanoを事後学習した版で、商用・非商用利用を許すOpenMDW1.1の下で公開されている。重みと並べて、事後学習のレシピと推論コードも出した。つまり出荷時のまま動かすだけでなく、自社のセンサー構成に合わせて適応できる。
その翌日、NVIDIAはVFlashを出した。同じ問題の別の部分を攻撃するデコード基盤である。2つのリリースは別々より一緒に見るほうが面白い。片方は世界を生成する話で、もう片方はその世界の中で物体がどこにあるかをどれだけ速く言えるかの話だからだ。
4つのチェックポイントの中身
Cosmos 3は6月に登場した世界基盤モデルの一族で、Mixture-of-Transformersの骨格を持つ。推論を担う自己回帰のサブシーケンスと、生成を担う拡散のサブシーケンスがあり、モダリティごとに別のエンコーダ、中央に共有の表現空間を置く。サイズはSuperとNanoの2つ。11月のリリースは小さいほうを4通りに専門化して事後学習したものだ。
Cosmos3-Nano-Transfer-Autoはオフラインの走行データを生成する。最大11台のカメラ視野にわたる同期映像を、魚眼も含めて作る。加えてLiDARの点群。道路の配置と交通の振る舞いはWorld Scenario Mapを通じてカメラごとに設定し、見た目はテキストで操る。

Cosmos3-Nano-Sim-AutoはTransfer-Autoを因果的に蒸留したストリーミング版だ。同期したカメラ映像とLiDARの小さな塊を、数ステップのノイズ除去で出す。1本の固定クリップではなく、長い対話的なロールアウトに必要なものになる。
Cosmos3-Nano-Sim-Transferは、物理シミュレータの制御値とテキストプロンプトを受け取り、フォトリアルなRGB映像を返す。物理状態はシミュレータに残り、モデルは奥行き、セグメンテーション、エッジ、ブラーの4つの空間制御に条件付けられる。この分担が役に立つ部分だ。信頼できるダイナミクスは手元に残し、持っていない画素を借りる。
Cosmos3-Nano-Sim-Bimanualは、両腕ロボットやカメラの行動から次の映像フレームを予測する。YAMとAgiBotの実体に対応し、1つの制御系列で視点変更とマニピュレーションを切り替えられる。ドキュメントの混合行動の例は59個の制御値を使っている。
読む価値のある学習の細部
NVIDIAは4段階のレシピを公開した。双方向適応、teacher forcing、整合性蒸留、self-forcingである。
注目すべきは最後だ。self-forcingは、正解フレームだけでなくモデル自身が生成した履歴で学習する。自己回帰の映像で誤差の蓄積を遅らせる定石である。きれいな文脈だけで学習すると、モデルは自分のドリフトから回復する方法を学ばず、放し飼いにした途端にドリフトが複利で効く。
AIの映像が10秒で崩れるのを見たことがある人なら、その症状に覚えがあるだろう。修正をレシピの形で、重みとコード付きで公開するのは、別のデモリールを出すより役に立つ。
もっと引用されるべき一文
NVIDIAは、これらのモデルがポリシー学習と評価を確実に支えるかは、まだ測定されていないと述べている。
ローンチとしては異例に正直な一行で、オープンな世界モデルを扱うすべての記事に付いて回るべきものだ。会社が言っているのは、もっともらしい映像を作る世界モデルが、それによって有用な学習環境だと示されたわけではない、ということである。美しく描画するが物理的に誤ったシミュレータの中で学習したポリシーは、間違ったことを学び、実世界で失敗する。しかもその失敗は物理のバグではなく幻覚のように見える。
その隙間を埋めるには、ほとんどのチームが用意していない評価が要る。生成された世界で学習したポリシーを取り、実機に載せ、差分を測る。高価で遅く、ローンチ記事に収まる種類の結果ではない。
だからこのリリースの正直な枠付けはこうなる。NVIDIAは強い生成器4つとレシピをコミュニティに渡し、学習環境として機能するとは明言しなかった。その主張はコミュニティが勝ち取るものだ。
VFlash、座標は単語ではない
自己回帰のデコードは言語のために設計された。次のトークンは妥当な単位だ。幾何はそうではない。ロボットには把持点と姿勢と経路が要り、それらを座標1つずつ生成するのは遅くてもろい。各予測が前の予測に条件付けられるので、早い段階の誤りが伝播する。ウェイポイントが10個なら、ドリフトの機会も10回ある。
VFlashはトークン単位の生成を、NVIDIAがflash primitive decodingと呼ぶ方式に置き換える。モデルはツール呼び出しで出力の長さを宣言し、プリミティブの種類を宣言し、軽量なドラフトモデルが幾何オブジェクト全体を並列に予測する。対象の視覚言語モデルは凍結したままだ。成立させるには3つの工学的問題を解く必要がある。境界の整合、つまりデコードブロックがトークン窓で切られず1つの完全な幾何に対応すること。位置の整合、つまり座標とウェイポイントが常に固定幅のフィールドに収まること。そして幾何構造の学習で、これがドラフトモデルの役割である。
ドラフトモデルは5層の非因果Transformerで、対象のVLMを完全に凍結したまま学習する。テキストのサブタスクは従来どおり投機的デコードを通る。全体は再学習ではなくプラグインだ。
数字は具体的だ。H100、バッチサイズ1で、3D点の動き予測は単発生成の最大25倍速に達する。ロボット行動のデコードは最大12倍。エンドツーエンドのロボット推論は最大5.1倍。3D軌道の誤差は最大61%減り、ShareRobot-BenchとVABench-Vの6指標で平均3D変位誤差は42.6%下がる。DAVISでは密な3D動き予測が変位誤差を27%削る。COCOとDense200のバウンディングボックス生成は、ほぼベースライン精度で2.6〜2.8倍速い。
そしてMolmoSpacesでは、VFlashの視覚計画に条件付けられた世界行動モデルが平均タスク成功率70.2%に達し、ベースラインの62.6%を上回る。
Jim Fanの要約は、System 1の視覚モデルの時代が来た、次の推論革命は反射速度の物理推論だと述べたものだった。売り文句ではあるが方向は正しい。反射速度の制御には、幾何を一撃で出すデコーダが要る。
この2つからチームが持ち帰るもの
物理世界に触れるものを作っているなら、実務的な読みはこうだ。スタックの両半分が安くなった。
生成の半分。ダウンロードできる16Bのチェックポイント4つ。カメラごとのシナリオ制御、LiDARの同期、物理を信頼できる場所に残すシミュレータ条件付けのモードが付く。要件は地味だ。Linux、NVIDIA GPU、Docker、そしてコンテナツールキット。
制御の半分。凍結したVLMを、再学習なしに制御周期で計画できる速度へ変えるデコード基盤。
誰も出していない半分は評価だ。Cosmosが生成したデータで学習したポリシーが実機に転移するかは未解決で、NVIDIAもそう言っている。オープンな世界モデルが学習データの近道になるのか、それとも非常に美しいレンダラなのかを決めるのはその作業である。
関連記事
Antigravityのリモートエージェント、クラウドVMで動く代わりに手放すもの
Antigravity 2.29でリモートエージェントが登場し、セッションとツールがGoogle管理のクラウドVMで動くようになった。ノートPCを閉じても作業は続くが、ローカルのMCPサーバーやskillsは失われる。
GitHubトレンドの4分の1を「エージェントskills」が占め、導入方法は4通りに分裂
11月8日のGitHubデイリートレンド15件のうち4件がエージェントskillsのリポジトリだった。形式は`SKILL.md`とYAMLフロントマターだけで単純だが、導入経路は4製品でばらばらで、重複が優先順位の問題を生む。
Thinking Machinesの「Inkling 2 Small」、594Bの疎なMoEで86.3% 重みは「来週」のまま
Thinking Machinesは11月5日、総パラメータ594B・トークンあたり17B活性の疎なMoE「Inkling 2 Small」を発表した。SWE-Bench Pro v2 Hardで86.3%を記録し、Apache 2.0の重みは公開1週間後以降とされる。
OpenAIがウェットラボ向けベンチマーク公開、最高モデルでも66.7%どまり
OpenAIは11月6日、酵素設計企業Ligoと共同でウェットラボ作業のベンチマークBioBasicsBenchを公開した。最高推論設定のGPT-6 Astraでも配点の66.7%にとどまり、失敗例の詳細も併せて公表している。