Trentaquattro piani gratuiti dietro un solo endpoint: cosa vende davvero FreeLLMAPI

C'è un tipo molto specifico di sviluppatore che legge «34 provider LLM gratuiti» e comincia subito a contare le ore che mancano al primo cedimento. FreeLLMAPI è pensato per quel tipo di sviluppatore e, va detto a suo merito, il README non finge il contrario. I numeri sono lì in cima, in un corpo tipografico che di solito si riserva agli annunci di finanziamento: 7,4 miliardi di token al mese, 34 provider, 635 endpoint gratuiti, 474 famiglie di modelli, un unico URL compatibile con OpenAI.

Il repository ha raccolto circa 15.600 stelle nell'ultimo mese e ora si aggira intorno alle 45.400. Una crescita così è già un segnale di per sé. La gente non mette una stella perché è elegante, ma perché per un anno ha fatto la stessa cosa a mano e male: aprire sei dashboard, copiare sei chiavi in un file di configurazione e scoprire alle due di notte che la quota dell'unico provider da cui dipende davvero lo script si era azzerata tre ore prima.

Che cos'è in realtà

FreeLLMAPI è un router locale che si mette tra il tuo client e un mucchio di piani gratuiti. Punti il client su http://localhost:PORT/v1, gli passi una stringa qualsiasi come chiave e lui decide quale modello a monte usare per ogni richiesta. Quando un provider comincia a restituire errori di rate limit, passa al successivo. Tiene traccia del consumo per chiave, così non sfondi un tetto che non si azzera prima del primo del mese. Le chiavi sono archiviate in forma cifrata.

È tutto qui il trucco, ed è un trucco che funziona davvero. Chiunque abbia provato a tenere in vita un progetto personale sui piani gratuiti sa che il modo in cui si rompono le cose non è un provider che va giù. È costruire tutta la logica di retry intorno al formato di errore specifico di un provider, scoprire che il successivo ne usa un altro e poi scoprire che il terzo non fa streaming allo stesso modo.

L'installazione

Quattro strade, il che dice qualcosa su chi si aspettano che si presenti.

La più rapida è l'app desktop: scarichi per macOS o Windows dalla pagina delle release, la avvii, aggiungi le chiavi. Per un homelab o un piccolo team c'è Docker Compose puntato su ghcr.io/freellmapi/freellmapi, che è l'opzione che sceglierei se la cosa deve girare per mesi. Ci sono anche le app Android e iOS, che sembrano eccessive finché non ricordi che c'è gente che vuole davvero un modello di riserva sul telefono senza pagare 20 dollari al mese per il privilegio.

Una volta avviato, la configurazione è una riga nel client che usi. Funziona qualsiasi cosa parli l'API di OpenAI: agenti di coding, interfacce chat, i soliti SDK Python e TypeScript. Imposti il base URL, metti una chiave finta e le richieste cominciano a passare. La lista di compatibilità del README è lunga e include gli agenti CLI che la gente usa davvero ogni giorno.

La parte che costa

Qui si fa interessante. Il catalogo stesso si aggiorna da un feed firmato. Nuovi modelli gratuiti, cambi di quota, correzioni di compatibilità arrivano senza un git pull. È l'idraulica che nessuno vuole mantenere a mano, ed è anche la parte che non è del tutto gratuita.

Le installazioni gratuite ricevono uno snapshot mensile. Un modello che entra nel feed live compare sulla tua macchina 30 giorni dopo. Se vuoi il catalogo dello stesso giorno, paghi 19 dollari l'anno. È questo il modello di business: non il routing, non il software (che è sotto licenza MIT), ma la freschezza della lista.

È un modello ragionevole, ed è anche una spia. Il valore in questa categoria non è mai stato il codice del proxy. È sapere, questa settimana, quale dei 635 endpoint è ancora vivo e quale ha silenziosamente disattivato la generazione di immagini nel piano gratuito. È un problema di dati, e i dati invecchiano in fretta.

Cosa non risolve

I piani gratuiti sono gratuiti perché qualcuno ha deciso che il costo marginale del tuo traffico valeva la spesa di marketing. Non sono gratuiti perché i termini di servizio ti permettano di aggregarne trentaquattro dietro un solo endpoint e rivendere l'accesso. Il README ha una sezione sui limiti e un disclaimer, e vale la pena leggere entrambi prima di puntarci qualcosa che sta in produzione.

C'è anche la questione della qualità. I piani gratuiti sono di solito i modelli piccoli, le versioni quantizzate, i checkpoint più vecchi. Se il tuo flusso di lavoro richiede che un modello specifico si comporti in un modo specifico, un router che ne sostituisce silenziosamente un altro quando il primo è in rate limit produrrà risultati incoerenti in modi difficili da debuggare. Il router ha una logica di failover; non ha la nozione che «questi due modelli sono intercambiabili per il mio compito».

E poi c'è la latenza. Ogni salto aggiunge una decisione. Quando è tutto sano non te ne accorgi. Quando tre dei tuoi trentaquattro provider stanno passando un pomeriggio storto, te ne accorgi sotto forma di una richiesta che impiega undici secondi a fallire prima di riuscire da qualche altra parte.

Il dettaglio poco glamour che lo fa funzionare

La contabilità per chiave è la parte che copierei se stessi costruendo qualcosa di simile. I piani gratuiti di solito non falliscono in modo rumoroso. Falliscono come degrado lento: lo script funziona lunedì, mercoledì è più lento e venerdì comincia a restituire un 429 che il tuo codice tratta come errore generico e ritenta all'infinito. Un router che conosce il tetto di ogni chiave e smette di mandare richieste prima di sbatterci contro fa il lavoro noioso ed essenziale di tenere in vita un sistema.

L'altra scelta di design che vale la pena notare è che non cerca di essere furbo nella selezione del modello in modi che ti sorprendano. Puoi fissare un modello, se vuoi. Il router esiste per assorbire i guasti, non per fare critica editoriale su quale modello sia meglio per il tuo prompt. È una moderazione rara in questa categoria, dove i progetti tendono ad aggiungere uno strato di «smart routing» che rende gli output non riproducibili e il debug una sofferenza.

A chi serve

Se stai costruendo qualcosa che deve essere affidabile, questa non è la tua infrastruttura. Paga una buona API e vai avanti. Il costo di un modello instabile in produzione si misura in ticket di assistenza, non in dollari per milione di token.

Se stai costruendo qualcosa per te, o prototipando un'idea all'una di notte di sabato, questo è davvero utile in un modo in cui la maggior parte dei repo di «tooling AI» non è. Toglie la parte tediosa (gestione delle chiavi, monitoraggio delle quote, failover) e ti lascia la parte che conta (l'idea funziona o no). Il titolo dei 7,4 miliardi di token al mese è marketing, ma l'affermazione di fondo è vera: la capacità gratuita spalmata su trentaquattro provider è molto più grande di quella di ciascuno di loro preso da solo, ed è in gran parte inutilizzata.

La domanda scomoda che il progetto solleva riguarda il prossimo anno. Ogni piano gratuito è un budget di acquisizione clienti, e quei budget vengono tagliati. Un router che dipende da trentaquattro di essi è una scommessa sul fatto che almeno alcuni continueranno a regalare inferenza. La scommessa ha pagato per un po'. Sarebbe strano se pagasse per sempre.

Per ora, però, 45.000 persone hanno deciso che lo scambio vale, e l'onestà del README sui limiti è il motivo per cui mi fiderei più di questo che delle alternative che promettono tutto e non documentano niente.