34の無料枠を1本のエンドポイントに：FreeLLMAPIが本当に売っているもの

「34の無料LLMプロバイダー」という一文を読んだ瞬間、いつ壊れるかまでの時間を数え始める開発者がいる。FreeLLMAPIはそういう開発者に向けた製品で、称賛すべきことに、READMEはそのことを偽っていない。冒頭に数字が並ぶ。ふつうなら資金調達の発表にしか使わないフォントサイズで、月間74億トークン、34プロバイダー、635の無料エンドポイント、474のモデルファミリー、OpenAI互換のURLが1本、と書いてある。

リポジトリはこの1カ月で約15,600スターを獲得し、現在は約45,400に達している。この種の伸び方はそれ自体がシグナルだ。人々がスターを付けたのは、これがエレガントだからではない。同じことを1年間、手作業で、しかも下手くそにやってきたからだ。ダッシュボードを6つ開き、6つのキーを設定ファイルにコピペし、午前2時に、スクリプトが実際に依存しているプロバイダーのクオータが3時間前にリセットされていたことに気づく——そんな日々の代わりに。

実際のところ何なのか

FreeLLMAPIは、クライアントと無料枠の山の間に座るローカルルーターだ。クライアントの向き先をhttp://localhost:PORT/v1にして、適当なキー文字列を渡すと、リクエストごとに上流のどのモデルを使うかを決めてくれる。あるプロバイダーがレート制限エラーを返し始めると、次のプロバイダーへフォールオーバーする。キーごとに使用量を追跡するので、月初までリセットされない上限をいつの間にか使い切ることもない。キーは暗号化して保存される。

仕掛けはこれだけだが、これが本当に効く。無料枠で個人プロジェクトを延命しようとしたことのある人間なら分かるはずだ。壊れ方は「1社が落ちる」ではない。1社のエラー形式に合わせてリトライ処理を全部書き、次に別の1社は違う形式を使っていると気づき、さらに3社目はストリーミングの作法が違うと気づく——そういう壊れ方をする。

インストール

導線は4つある。この多さ自体が、どんな利用者を想定しているかを物語っている。

最短はデスクトップアプリだ。リリースページからmacOS版かWindows版を落として起動し、キーを追加する。自宅ラボや小さなチームなら、ghcr.io/freellmapi/freellmapiを指すDocker Composeがある。数カ月動かし続けるつもりなら、私ならこれを選ぶ。AndroidとiOSのアプリまである。大げさに聞こえるが、月20ドル払わずにスマホにフォールバック用モデルを置きたい人は本当にいるのだと思い出せば納得がいく。

起動後の設定は、使っているクライアントに1行足すだけ。OpenAI APIを喋るものなら何でも動く。コーディングエージェント、チャットUI、いつものPython/TypeScript SDK。ベースURLを設定し、ダミーのキーを入れれば、リクエストが流れ始める。READMEの互換性リストは長く、実際に日常的に使われているCLIエージェントも含まれている。

金がかかる部分

ここからが面白い。カタログ自体は署名付きフィードから更新される。新しい無料モデル、クオータの変更、互換性の修正が、git pullなしで降ってくる。誰も手で保守したくない配管であり、同時に完全に無料ではない部分でもある。

無料インストールでは月次スナップショットが届く。ライブフィードに加わったモデルが、あなたのマシンに現れるのは30日後だ。同日のカタログが欲しければ年19ドル払う。これがビジネスモデルである。ルーティングでもソフトウェアでもない（ソフトはMITライセンスだ）。リストの鮮度を売っている。

合理的なモデルだし、同時に露見でもある。このカテゴリの価値は、結局プロキシのコードではなかった。635のエンドポイントのうち、今週どれが生きていて、どれが無料枠の画像生成をひっそり止めたのかを知っていることだ。それはデータの問題で、データはすぐ古くなる。

解決しないこと

無料枠が無料なのは、あなたのトラフィックの限界費用がマーケティング費用に見合うと誰かが判断したからだ。利用規約が、34社を1つのエンドポイントの後ろに束ねてアクセスを再販することを許しているからではない。READMEには制限事項と免責事項のセクションがあり、本番向けの何かをこれに向ける前に両方読む価値がある。

品質の問題もある。無料枠はたいてい小さなモデル、量子化版、古いチェックポイントだ。ワークフローが特定モデルの特定の振る舞いを必要とするなら、最初のモデルがレート制限されたときに黙って別のモデルに差し替えるルーターは、デバッグしづらい形で結果を不安定にする。ルーターにはフェイルオーバーのロジックはあるが、「この2つのモデルは自分のタスクでは交換可能だ」という概念はない。

レイテンシもある。ホップごとに判断が増える。全部が健康なときは気づかない。34社のうち3社が最悪の午後を過ごしているときは、別のどこかで成功する前に11秒かけて失敗するリクエストという形で気づく。

地味だが効いている部分

キーごとの課金管理は、似たものを作るなら私が真似したい部分だ。無料枠はふつう、大きな音を立てて壊れない。ゆっくり劣化する形で壊れる。月曜は動いていたスクリプトが水曜に遅くなり、金曜には429を返し始め、コードはそれを汎用エラーとして扱っていつまでもリトライする。キーごとの上限を知っていて、壁に当たる前に送信を止めるルーターは、システムを生かし続けるという退屈で本質的な仕事をしている。

もうひとつの設計上の選択で注目すべきは、あなたを驚かせるような賢いモデル選択をしようとしないことだ。ピン留めもできる。ルーターの存在理由は失敗を吸収することで、どのモデルがあなたのプロンプトに合うかを論評することではない。このカテゴリでは珍しい自制で、多くのプロジェクトは「スマートルーティング」層を継ぎ足して、出力を再現不能にし、デバッグを地獄にしている。

誰のためのものか

信頼性が要るものを作っているなら、これはあなたのインフラではない。良いAPIを1つ買って先に進むべきだ。本番で不安定なモデルが生むコストは、100万トークンあたりのドルではなく、サポートチケットの数で測られる。

自分のためのものを作っている、あるいは土曜の午前1時にアイデアをプロトタイピングしているなら、これはほとんどの「AIツール」リポジトリと違って本当に役に立つ。面倒な部分（キー管理、クオータ追跡、フェイルオーバー）を取り除き、大事な部分（そのアイデアは動くのか）だけを残してくれる。月74億トークンという看板はマーケティングだが、背後の主張は正しい。34社の無料枠を合わせれば、どれか1社よりはるかに大きく、しかもその大半は遊んでいる。

このプロジェクトが突きつける居心地の悪い問いは、来年のことだ。無料枠はすべて顧客獲得の予算であり、その予算は削られている。34社に依存するルーターは、少なくとも何社かは推論を無料で出し続けるという賭けである。その賭けはしばらく当たってきた。永遠に当たり続けるとしたら、むしろ奇妙だ。

とはいえ今のところ、4万5,000人がこのトレードに値すると判断している。そして私が代替品よりこれを信じるのは、制限について正直に書いたREADMEのせいだ。何でも約束して何も書かない競合より、ずっとマシである。