Vierunddreißig kostenlose Kontingente hinter einem einzigen Endpunkt: Was FreeLLMAPI wirklich verkauft

Es gibt einen ganz bestimmten Typ Entwickler, der „34 kostenlose LLM-Anbieter“ liest und sofort anfängt, die Stunden zu zählen, bis irgendetwas ausfällt. FreeLLMAPI richtet sich an genau diesen Entwickler, und man muss dem Projekt zugutehalten: Das README tut nicht so, als wäre es anders. Die Zahlen stehen ganz oben, in einer Schriftgröße, die sonst Finanzierungsrunden vorbehalten ist: 7,4 Milliarden Token pro Monat, 34 Anbieter, 635 kostenlose Endpunkte, 474 Modellfamilien, eine OpenAI-kompatible URL.

Das Repository hat im vergangenen Monat rund 15.600 Sterne dazubekommen und steht bei etwa 45.400. Solches Wachstum ist für sich genommen schon ein Signal. Die Leute geben keinen Stern, weil das hier elegant wäre. Sie geben einen Stern, weil sie seit einem Jahr genau dasselbe von Hand und schlecht machen: sechs Dashboards öffnen, sechs Schlüssel in eine Konfigurationsdatei kopieren und um zwei Uhr morgens feststellen, dass das Kontingent des einen Anbieters, von dem ihr Skript wirklich abhängt, vor drei Stunden zurückgesetzt wurde.

Was es tatsächlich ist

FreeLLMAPI ist ein lokaler Router, der zwischen deinem Client und einem Haufen kostenloser Kontingente sitzt. Du richtest deinen Client auf http://localhost:PORT/v1, gibst ihm irgendeine Zeichenkette als Schlüssel, und er entscheidet für jede Anfrage, welches vorgelagerte Modell verwendet wird. Wenn ein Anbieter anfängt, Fehler wegen Rate-Limits zurückzugeben, fällt er auf den nächsten um. Er verfolgt die Nutzung pro Schlüssel, damit du nicht in eine Obergrenze läufst, die sich erst am Ersten des Monats zurücksetzt. Die Schlüssel werden verschlüsselt gespeichert.

Das ist der ganze Trick, und es ist ein echter. Wer schon einmal versucht hat, ein Nebenprojekt auf kostenlosen Kontingenten am Leben zu halten, weiß, dass der Fehlerfall nicht darin besteht, dass ein Anbieter ausfällt. Er besteht darin, dass man seine gesamte Wiederholungslogik um das spezifische Fehlerformat eines Anbieters herum baut, dann merkt, dass der nächste ein anderes verwendet, und dann merkt, dass der dritte Streaming nicht auf dieselbe Weise macht.

Die Installation

Vier Wege, was schon etwas darüber verrät, mit wem sie rechnen.

Am schnellsten geht die Desktop-App: für macOS oder Windows von der Releases-Seite herunterladen, starten, Schlüssel hinzufügen. Für ein Homelab oder ein kleines Team gibt es Docker Compose mit ghcr.io/freellmapi/freellmapi — das wäre meine Wahl, wenn das Ding monatelang laufen soll. Es gibt außerdem Android- und iOS-Apps, was übertrieben klingt, bis man sich daran erinnert, dass Leute tatsächlich ein Ausweichmodell auf dem Handy wollen, ohne dafür 20 Dollar im Monat zu zahlen.

Wenn es läuft, besteht die Einrichtung aus einer Zeile in welchem Client auch immer du benutzt. Alles, was die OpenAI-API spricht, funktioniert: Coding-Agenten, Chat-Oberflächen, die üblichen Python- und TypeScript-SDKs. Du setzt die Basis-URL, du setzt einen Dummy-Schlüssel, und die Anfragen laufen. Die Kompatibilitätsliste im README ist lang und enthält die CLI-Agenten, die Leute tatsächlich täglich benutzen.

Der Teil, der Geld kostet

Hier wird es interessant. Der Katalog selbst aktualisiert sich aus einem signierten Feed. Neue kostenlose Modelle, geänderte Kontingente, Kompatibilitätskorrekturen kommen an, ohne dass du git pull machen musst. Das ist die Infrastruktur, die niemand von Hand pflegen will, und es ist zugleich der Teil, der nicht ganz kostenlos ist.

Kostenlose Installationen bekommen einen monatlichen Schnappschuss. Ein Modell, das in den Live-Feed aufgenommen wird, taucht 30 Tage später auf deiner Maschine auf. Wer den Katalog am selben Tag will, zahlt 19 Dollar im Jahr. Das ist das Geschäftsmodell: nicht das Routing, nicht die Software (die unter MIT-Lizenz steht), sondern die Aktualität der Liste.

Das ist ein vernünftiges Modell, und es ist zugleich ein Fingerzeig. Der Wert in dieser Kategorie lag nie im Proxy-Code. Er liegt darin, diese Woche zu wissen, welche von 635 Endpunkten noch leben und welcher in seinem kostenlosen Kontingent stillschweigend die Bildgenerierung abgeschaltet hat. Das ist ein Datenproblem, und Daten veralten schnell.

Was es nicht löst

Kostenlose Kontingente sind kostenlos, weil jemand entschieden hat, dass die Grenzkosten deines Traffics das Marketing wert sind. Sie sind nicht kostenlos, weil die Nutzungsbedingungen es erlauben, vierunddreißig davon hinter einem Endpunkt zu bündeln und den Zugang weiterzuverkaufen. Das README hat einen Abschnitt zu Einschränkungen und einen Haftungsausschluss, und beide sollte man lesen, bevor man irgendetwas Produktives auf dieses Ding richtet.

Dazu kommt die Qualitätsfrage. Kostenlose Kontingente sind meist die kleinen Modelle, die quantisierten Versionen, die älteren Checkpoints. Wenn dein Workflow ein bestimmtes Modell braucht, das sich auf bestimmte Weise verhält, dann produziert ein Router, der still ein anderes einsetzt, sobald das erste im Rate-Limit hängt, Ergebnisse, die auf schwer zu debuggende Weise inkonsistent sind. Der Router hat Failover-Logik; er hat kein Konzept davon, dass „diese beiden Modelle für meine Aufgabe austauschbar sind“.

Und dann ist da die Latenz. Jeder Sprung bedeutet eine Entscheidung. Wenn alles gesund ist, wirst du es nicht merken. Wenn drei deiner vierunddreißig Anbieter einen schlechten Nachmittag haben, wirst du es merken — in Form einer Anfrage, die elf Sekunden braucht, um zu scheitern, bevor sie woanders Erfolg hat.

Das unspektakuläre Detail, das es funktionieren lässt

Die Buchführung pro Schlüssel ist der Teil, den ich klauen würde, wenn ich etwas Ähnliches baute. Kostenlose Kontingente fallen selten laut aus. Sie fallen als langsame Verschlechterung aus: Dein Skript läuft am Montag, wird am Mittwoch langsamer und gibt am Freitag einen 429 zurück, den dein Code als allgemeinen Fehler behandelt und ewig wiederholt. Ein Router, der die Obergrenze jedes Schlüssels kennt und aufhört, Anfragen zu schicken, bevor er gegen die Wand läuft, erledigt die langweilige, wesentliche Arbeit, ein System am Leben zu halten.

Die andere erwähnenswerte Designentscheidung: Er versucht nicht, bei der Modellauswahl auf eine Weise clever zu sein, die dich überraschen würde. Du kannst ein Modell festnageln, wenn du willst. Der Router existiert, um Ausfälle abzufangen, nicht um zu kommentieren, welches Modell für deinen Prompt besser ist. Diese Zurückhaltung ist selten in dieser Kategorie, in der Projekte dazu neigen, eine „intelligente Routing“-Schicht anzuschrauben, die Ausgaben nicht reproduzierbar und das Debugging zur Qual macht.

Für wen das gedacht ist

Wenn du etwas baust, das zuverlässig sein muss, ist das nicht deine Infrastruktur. Zahl für eine gute API und mach weiter. Die Kosten eines launischen Modells in der Produktion messen sich in Support-Tickets, nicht in Dollar pro Million Token.

Wenn du etwas für dich selbst baust oder samstags um ein Uhr nachts eine Idee prototypst, ist das auf eine Weise wirklich nützlich, wie es die meisten „AI-Tooling“-Repos nicht sind. Es nimmt den lästigen Teil weg (Schlüsselverwaltung, Kontingentverfolgung, Failover) und lässt dir den Teil, auf den es ankommt (funktioniert die Idee). Die Schlagzeile mit 7,4 Milliarden Token pro Monat ist Marketing, aber die zugrunde liegende Aussage stimmt: Die kostenlose Kapazität über vierunddreißig Anbieter ist viel größer als die jedes einzelnen von ihnen, und sie liegt überwiegend brach.

Die unbequeme Frage, die das Projekt aufwirft, betrifft das kommende Jahr. Jedes kostenlose Kontingent ist ein Kundenakquise-Budget, und diese Budgets werden gekürzt. Ein Router, der von vierunddreißig davon abhängt, ist eine Wette darauf, dass zumindest einige weiter Inferenz verschenken. Diese Wette ist eine Weile aufgegangen. Es wäre seltsam, wenn sie für immer aufginge.

Vorerst aber haben 45.000 Leute entschieden, dass der Deal sich lohnt, und die Ehrlichkeit des README über die Grenzen ist der Grund, warum ich ihm mehr trauen würde als den Alternativen, die alles versprechen und nichts dokumentieren.