中国の GPU メーカーが学習の数字を出した。比較対象の名前は出していない

11 月 6 日、中国の通信業界カンファレンスで、ムーア・スレッズ(Moore Threads)は MTTS5000 プラットフォームの学習結果を公表した。見出しの主張は原則として検証できる程度に具体的だ。2360 億パラメータの MoE モデルをゼロから学習し、コーパスは 25 兆トークン超、MMLU のスコアは国際的な主流の演算カードと同等、有効学習時間は 90% 超。
基盤は PH100 チップで、同社によれば中国の国家情報セキュリティ評価を最初のバッチで通った製品であり、MUSA ソフトウェアスタックと組み合わせて使う。
読み解くべき点は多く、大きな穴も一つある。数字はすべて自己申告で、比較対象は国際的な主流の学習用 GPU としか書かれていない。型番はない。この表現は現在のフラッグシップから三年前の製品まで何にでも当てはまる。基準となる型番と構成が明かされるまで、倍数はマーケティングだ。
とはいえ、主張のいくつかはスループット比より情報量が多い。特に一つは注目に値する。
本当に重要な数字
有効学習時間 90% 超は、この発表で最も地味な数値であり、最も多くを語る数値でもある。クラスタが実際の時間のうちどれだけを有効な作業に使い、どれだけを待ちに使ったかを示す。故障ノード、チェックポイントの停止、ネットワークの不調、ジョブの再起動を待つ時間だ。

ピーク FLOPS はデータシートの数字だ。有効学習時間は運用の数字だ。大規模クラスタは理論利用率を大きく下回ることで知られ、その理由がチップであることは少ない。スケジューラの挙動、インターコネクトの安定性、障害復旧、そしてスタックのどこまでをベンダーが書き、どこからを借りたかだ。
ゼロからの 2360 億 MoE 学習で 90% を維持する国内スタックは、行列積がどれだけ速いかより難しいことを言っている。地味な部分が動く、という主張だ。事実かどうかは別の問いだが、主張の向きは正しい。
クラスタを 90% 未満に押し下げる故障モードはよく知られていて、どれも華がない。同期ステップ全体を遅らせるストラグラー GPU、学習を数分止めるチェックポイント書き込み、all-reduce のトラフィックで劣化するファブリック、ジョブの合間にカードを遊ばせるスケジューラ。直すのはソフトウェアの仕事で、工数年単位になる。データシートには載らない部分だ。
ゼロから学習する意味
国内アクセラレータの発表はほとんどがファインチューニングか推論についてで、そのほうが簡単で結果も早い。ランダム初期化から 2360 億 MoE を 25 兆トークンで学習するのは、別のクラスの主張だ。数か月の連続運転、規模なりのチェックポイント管理、そして収束するかしないかの loss 曲線。
MMLU の同等性は弱い代理指標だ。飽和したベンチマークで、まったく違う学習経路でも同じあたりのスコアに着地できる。それでも確認できるのは、この実行が破綻しなかったことだ。壊れた分散学習ジョブは、正常範囲のスコアを出すモデルを生まない。
発表の残り二件は MMLU より面白い。同じスタックで北京大学のワールドモデル EvoPhys-World5D をネイティブに学習し、このモデルがスタンフォードの WorldScore のワールド生成部門で 37 日連続の首位を保ったとしている。北京智源人工智能研究院の身体性モデル RoboBrain2.5 の学習もエンドツーエンドで支援したという。
名前のある第三者のワークロードであり、自社ベンチマークより反証しやすい。モデルが実在し、リーダーボードの順位が本物なら、クラスタは何かを成し遂げたことになる。
自動運転の主張
具体的なワークロードが付いた唯一の倍数は自動運転の BEV 認識で、シングルマシンとデュアルマシンの学習スループットが国際的な主流の学習用 GPU の 1.56 倍から 1.67 倍だとしている。
認識モデルは公平な試験だ。中規模でデータを食い、メモリ帯域とインターコネクトに敏感で、新しいアーキテクチャが勝つか負けるかが出る場所だ。このワークロードで 1.6 倍というのは、調整されたスタックが旧型相手ならあり得る。現行の最上位相手なら、バッチサイズと精度についての文脈が大量にない限りあり得ない。
その文脈は一つも示されていない。
何があれば信用できるか
三つの開示で大半は決着する。
基準となる型番、メモリ構成、インターコネクトのトポロジーを書く。それがなければスループットの比較は比較にならない。
2360 億の実行について、最終的な MMLU だけでなく loss 曲線とトークン単位のスループットを出す。学習効率はベンチマークよりずっと早く曲線に現れる。
そして学習コードのうち MUSA ネイティブがどれだけか、CUDA からの移植がどれだけかを示す。移植は悪くない。移植をネイティブと呼ぶのは別の主張で、企業が移行を計画するときに見るのはそこだ。
変わった要求ではない。学習クラスタを買う人が契約前に必ず聞くことで、答えはたいてい基調講演ではなく NDA の下にある。
ベンダーが公表する数字を選ぶのには理由がある。中国の企業買い手は競合アクセラレータを自分で測れない。比較には両方のプラットフォームを同じ部屋に置く必要があり、輸出管理がその部屋を組みにくくしている。その空白ではベンダーの資料が参照文書になり、十分な数の講演で繰り返された主張は事実のように機能し始める。
その空白が、調達の判断とプレスリリースの差だ。
戦略的な読み
中国の国内アクセラレータの物語は三段階を進んできた。推論が動くか、ファインチューニングができるか、学習ができるか。この発表は三段階目を埋めようとする試みだ。面白いのは、主張の枠がベンチマークカーネルではなく、大規模 MoE の完全な学習実行に移ったことだ。
数字が第三者の再現に耐えれば、実務的な帰結はエヌビディアが一販売を失うより先に進む。中国のラボは輸出許可なしにフロンティア規模の学習を計画できる。価格よりも計画の時間軸のほうが大きく変わる。
耐えなければ、それでもこの発表は何かを示している。訴求の軸が推論での同等性から学習での同等性に移った点だ。撤回しにくい主張であり、次の数字はそれを基準に読まれる。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。