744BモデルをノートPCで、専門家をディスクに置くcolibri

colibriのREADMEには、誤植に見える一行がある。7440億パラメータのモデル、int4、CPUからストリーミング、32秒で準備完了、常駐9.9GB。ノートPCで。グラフィックカードなしで。
誤植ではないが、文全体でもない。9.9GBはメモリに残る分だ。モデルが実際に参照する429GBの専門家はディスク上にあり、モデルが要求するたびに読み込まれる。この区別がプロジェクトのすべてだ。
colibriはCで書かれ、モデルファミリーごとに1ファイル。開発者はJustVuggという名前で活動する。今週GitHubのトレンドに入り、1日あたりおよそ803スター。現在13のエンジンが同梱される。言語モデル向けが10、画像を描くものが1、分類判断をするものが2。トレードオフについて異例に率直で、だから真剣に受け止める価値がある。
専門家のストリーミングが実際に買うもの
mixture-of-expertsモデルはすでに内部でこれをやっている。744Bのモデルは1トークンに744Bのパラメータを使わない。そのトークンを少数の専門家に振る。512のうち8つ程度、加えて共有の1つ。残りは遊んでいる。
データセンターの推論は全部をVRAMに置く。VRAMが他の何より速いからだ。colibriは前提を反転させる。どのトークンでも重みの95%が遊んでいるなら、最も高いメモリに置いておく理由は何か。常に使う部分をRAMに、専門家をディスクに置き、ルーターが選んだものだけを読む。
難点はレイテンシで、colibriはそれを隠さない。READMEの表では、GLM-5.2は25GBのノートPCでコールド時に毎秒0.05〜0.1トークン。チャットの体験ではない。20秒に1文だ。128GBのRyzen AI Max+ 395では1.83 tok/s。RTX 5090を6枚なら9.0〜9.2。284BのDeepSeek V4 Flashは、32GBのRyzen 7 5800Xで0.93 tok/s、RTX 5080が助ければ1.5〜1.6。
この数字がプロジェクトの正直な部分だ。「ノートPCで動く」という主張の多くは、静かに「ノートPCがワークステーションなら動く」を意味する。これは遅いケースを速いケースの隣に公開していて、遅いケースは本当に遅い。

セットアップはバッチファイルだ
colibriを好奇心以上のものにしているのは、コンパイルをしない人向けに包むという地味な仕事を誰かがやったことだ。
WindowsではZIPを落として START-HERE.bat をダブルクリックすると、Pythonがなければ入れるか聞いてくる。LinuxとmacOSでは git clone と ./start-here.sh。スクリプトは順に5つのことをする。RAM、ディスク、CPU、GPUを読み、常駐部分と最小の専門家キャッシュがRAMに収まるモデルを勧め、コンパイラがあればそのマシン向けにエンジンをビルドし、なければビルド済みバイナリを落とし、モデルをレジューム対応でダウンロードし、ダッシュボード付きのローカルサーバーを起動する。
最小構成はRAM 8GBと、最小モデル用に空きディスク22GB。GPUは任意で、READMEはいつ効くかを具体的に書く。外付けカードなら常に、内蔵GPUは速いと測定された3モデルに限る。
サーバーは重要な2つの方言を話す。http://127.0.0.1:8000/v1 はOpenAI互換のベースURLで、ポートだけの指定はAnthropic互換だ。実用的な使い方はターミナルに入力することではない。既存のツールをlocalhostに向け、クラウド事業者と話していると思わせることだ。
絵も描く
13番目のエンジンが私の注意を引いた。テキスト推論のプロジェクトを画像作業に関係あるものに変えるからだ。colibriはQwen-Image-2.1のエンジンを同梱する。Alibabaが9月に公開した同じ7Bモデルで、ネイティブ2048×2048出力と本物のアルファチャンネルを持つ。
READMEの実測値。ダウンロード33GB、RAM 12〜18GB、GPU経路はVulkan、8コアZen 4でCPUのみなら768×512の1枚に2分40秒。HTTPで POST /v1/images/generations にも投げられ、coli chat は結果をブロック文字でターミナル内に描く。
768×512に2分40秒では、誰かのAPI請求書を置き換えたりはしない。だがモデルが何であるかの枠組みを変える。Qwen-Image-2.1は研究専用ライセンスで出荷されており、有料製品の裏に置いた瞬間にライセンスの会話が発生する。CPUで動かすローカルエンジンは、その会話の前の段階のための道具の形そのものだ。評価しているのであって、売っているのではない。
ディスクがボトルネックになる場所
READMEは率直に書く。大きなモデルではディスクが速度を決め、速いNVMeが最も効く。これは脚注ではなく実際のアーキテクチャ上の制約だ。SATA SSDのシーケンシャル読み出しはまともなNVMeのおよそ10分の1で、ここのアクセスパターンも完全にシーケンシャルではない。
つまりcolibriを正直に捉えるなら、コマンドラインインターフェースを備えたメモリ階層化システムだ。処理量と容量を交換している。429GBのモデルは32GBのRAMに入らない。1TBのドライブには入る。その取引が見合うかは、速度より能力を必要とするかで決まる。
エージェント作業をする人に効く二次効果もある。エージェントはバースト的だ。何分も遊んでいて、それからツール呼び出しを20回撃つ。応答に20秒かかるローカルモデルはそのループでは使えない。2分かかるローカルモデルも使えない。正直な用途はバッチ作業だ。このフォルダを要約する、この400文書を分類する、この12件の商品説明を起草する。席を外せる実行だ。
最初に試すとしたら
ディスクを確保する前に確認する価値のあることが3つある。
コールドスタートとウォーム。 READMEの32秒は、おそらくページキャッシュが温まった状態のGLM-5.2の数字だ。起動後の初回は遅く、回転ディスクではずっと遅い。自分で測ること。
自分のモデルが本当に対応しているか。 手書きのCとしては13エンジンは多いが、オープンウェイトの生態系から見ればごく一部だ。READMEは同じアーキテクチャを共有するチェックポイントはそのまま動くと注記する。有用な逃げ道であり、同時に注意でもある。「同じアーキテクチャ」はその文で静かに働いている。
読み込むもののライセンス。 colibri自体は、動かす重みの条件を変えない。Qwen-Image-2.1は研究専用。言語モデルのいくつかはMITで、いくつかはそうではない。エンジンは中立で、モデルは中立ではない。
なぜ1つのリポジトリを超えて重要か
2年間、ローカルAIの話は量子化の話だった。モデルを収まるまで小さくする。重みあたり2ビット、VRAM 4GB、スマートフォン。その路線は本物で、実際に有用なものを生んだ。
colibriは別の軸を指す。モデルを小さくするのではなく、メモリ階層を深くする。RAMはVRAMより安い。ディスクはRAMより安い。「存在するモデル」と「自分が動かせるモデル」の間の溝は、圧縮だけで埋める必要はない。遅い層を受け入れることで埋められる。
新しい発想ではない。データベースが40年間そう動いてきた方法で、OSはもっと長くそうしてきた。新しいのは、誰かが744Bモデル向けにバッチファイルとして出荷し、遅いベンチマークを速いものの隣に公開し、画像モデルまで箱に入れたことだ。
このリポジトリがAPIの購読を置き換えることはない。700Bのモデルは借りるしかないという前提を置き換えるかもしれない。そして8つのCPUコアで2分40秒かけて描く絵は、「ローカル」は二値ではなく、自分で設定する予算なのだという良い念押しになる。
関連記事
Antigravityのリモートエージェント、クラウドVMで動く代わりに手放すもの
Antigravity 2.29でリモートエージェントが登場し、セッションとツールがGoogle管理のクラウドVMで動くようになった。ノートPCを閉じても作業は続くが、ローカルのMCPサーバーやskillsは失われる。
NVIDIA、世界モデル「Cosmos 3」の派生4種とデコード基盤「VFlash」を相次いで公開
NVIDIAは11月5日、16BのCosmos 3 Nanoを専門化した4つのチェックポイントをOpenMDW1.1で公開し、学習レシピと推論コードも添えた。翌日には幾何出力を並列生成するデコード基盤VFlashを発表している。
GitHubトレンドの4分の1を「エージェントskills」が占め、導入方法は4通りに分裂
11月8日のGitHubデイリートレンド15件のうち4件がエージェントskillsのリポジトリだった。形式は`SKILL.md`とYAMLフロントマターだけで単純だが、導入経路は4製品でばらばらで、重複が優先順位の問題を生む。
Thinking Machinesの「Inkling 2 Small」、594Bの疎なMoEで86.3% 重みは「来週」のまま
Thinking Machinesは11月5日、総パラメータ594B・トークンあたり17B活性の疎なMoE「Inkling 2 Small」を発表した。SWE-Bench Pro v2 Hardで86.3%を記録し、Apache 2.0の重みは公開1週間後以降とされる。