71,5% dei token, 23% della bolletta: il registro di settembre di un gateway

Un gateway, un mese, un rapporto scomodo

Vercel ha pubblicato il 15 ottobre l'AI Gateway Production Index, che copre il traffico di settembre. Il numero in apertura si legge facilmente male: i modelli a pesi aperti hanno gestito il 71,5% dei token transitati dal gateway e hanno pesato per circa il 23% della spesa.

Letto di corsa sembra un giro d'onore dei modelli aperti. Letto con attenzione dice qualcosa di più utile. Per ogni dollaro speso su un modello chiuso, circa trenta centesimi compravano otto volte tanti token. Volume e denaro si sono separati, e la separazione è tutta la storia.

Prima le solite avvertenze, perché contano. È il gateway di una sola azienda, che trasporta decine di trilioni di token tra applicazioni in produzione e laboratori. I clienti enterprise dei grandi laboratori spesso chiamano quelle API direttamente, quindi un gateway li sottostima. La spesa è stimata a prezzi di listino, e le bollette vere contengono sconti. Vercel vende anche il gateway, quindi sta valutando il proprio business. Prendetelo come un buon campione di cosa fanno i team multi-modello, non come un censimento del mercato.

Il modello economico non è una tendenza, è un modello

La frase più chiarificatrice del rapporto riguarda DeepSeek-V4.1-Flash: ha gestito quasi metà di tutti i token di settembre e ha rappresentato il 2,6% della spesa. Il suo prezzo per token era circa un quinto della media dei modelli a pesi aperti.

Quella singola frase ricolloca il 71,5%. Non è una marea larga di modelli aperti che si prendono la produzione. Buona parte è un modello molto economico che fa una quantità enorme di lavoro. Se cercate una lezione in questo indice, la lezione riguarda l'instradamento dei compiti, non l'ideologia delle licenze.

Il lato denaro è altrettanto specifico. La quota di spesa dei pesi aperti è passata da circa il 5% di giugno a quasi un quarto a settembre, più che quadruplicata da una base piccola. Ma circa due terzi di quell'aumento sono arrivati da modelli aperti costosi, guidati da Kimi K3, ognuno dei quali costa almeno quattro volte la media aperta per token. I modelli economici fanno volume; quelli costosi fanno spesa. Vale dentro la categoria aperta, non solo tra aperto e chiuso.

La quota di Anthropic nella spesa del gateway è scesa dal 63,7% al 43,9%, sotto la metà per la prima volta. La lettura tentante è che Anthropic abbia perso lavoro. Il rapporto dice l'opposto: la spesa frontier è decuplicata da dicembre. Anthropic guadagna più soldi da una fetta più piccola di una torta molto più grande. Ecco come appare perdere quota in un mercato che cresce di 13 volte mentre il prezzo medio per token cala del 47%.

Cambiare modello è ormai un'abitudine mensile

Quasi un team su due ha cambiato il modello più usato a settembre. Quasi uno su tre ha cambiato il laboratorio più usato, cosa che l'indice chiama record. Entrambi i numeri salgono da cinque mesi consecutivi.

È strano per il software enterprise. Le scelte di infrastruttura di solito si pietrificano. Quelle sui modelli fanno l'opposto, e il rapporto offre un meccanismo: i team che da dicembre hanno gestito almeno un miliardo di token hanno usato in media 42 modelli diversi. Quelli tra dieci e cento milioni ne hanno usati 15 di media. Anche i team piccoli fanno girare un mix.

La ragione è noiosa e giusta. Compiti diversi hanno curve prezzo-qualità radicalmente diverse. Classificare un ticket di supporto, estrarre campi da una fattura e scrivere le scuse per il cliente sono tre problemi diversi che non sarebbero mai stati risolti dallo stesso modello allo stesso prezzo.

L'implicazione operativa è meno noiosa. Se il nome di un modello è codificato in trenta punti dell'applicazione, ogni cambio di prezzo è un refactoring. Se sta dietro uno strato di instradamento con le vostre valutazioni, è un cambio di configurazione. Metà dei vostri pari ridecide il modello predefinito ogni mese. I team che possono agire senza uno sprint sono quelli che incassano il risparmio.

Il divario tra adozione e ricavi

Due lanci di settembre spiegano il punto meglio di qualsiasi grafico.

Jev, un modello decisionale di TypeSafe AI, ha raggiunto il 35,3% dei team paganti in due settimane, l'adozione più rapida nella storia del gateway, quasi il doppio del secondo, Claude Sonnet 5.5 al 18,1%. Nella stessa finestra ha preso lo 0,27% della spesa. È un modello fatto per decisioni rapide: economico, veloce, leggero sui token. Molti team l'hanno provato. Non sarebbe mai stato costoso.

Opus 5.5 è andato dall'altra parte: più di un dollaro su dieci del gateway nelle prime due settimane, la quota di spesa più alta di qualsiasi lancio di settembre.

Messi insieme, descrivono un mercato a due livelli che non ha niente a che vedere con aperto contro chiuso. Un livello sono le chiamate ad alta frequenza e bassa posta, dove vince chi costa meno per risposta corretta. L'altro sono le chiamate a bassa frequenza e alta posta, dove la gente paga per gli ultimi punti di qualità. Un fornitore può dominare un livello ed essere invisibile nell'altro, e entrambi possono essere business sani.

Il dettaglio cinese che nessuno mette nel titolo

Quasi il 70% della spesa di settembre del gateway su modelli sviluppati in Cina è passato da fornitori con sede negli Stati Uniti, contro meno del 10% a dicembre. In termini grezzi, circa 2,50 $ sono passati da fornitori americani per ogni 1 $ passato da quelli cinesi.

È un fatto di instradamento travestito da fatto geopolitico. Le aziende vogliono il prezzo di un modello aperto cinese e la fatturazione, la latenza e la gestione dei dati di un fornitore americano. Il gateway esiste proprio per rendere possibile quella combinazione, e il denaro ha seguito la combinazione, non la bandiera.

Significa anche che la narrazione "stanno vincendo i modelli aperti" si complica a seconda di chi lo chiedete. I pesi possono essere cinesi. La fattura può essere americana. Il team che decide probabilmente non sta in nessuno dei due posti.

Cosa farne

Tre cose, e nessuna richiede un'opinione sui pesi aperti.

Etichettate ogni chiamata IA per compito. Non si può instradare ciò che non si vede. Quasi tutti i team hanno un'idea vaga di quali funzionalità costano di più e quasi nessuna di quali chiamate dentro quelle funzionalità lo facciano.

Confrontate i vostri tre compiti principali su due modelli ciascuno. Uno frontier, uno economico. Non su una classifica, su venti esempi reali con risposte buone note. Venti bastano per beccare uno scambio che ha rotto il formato o perso un campo senza che nessuno se ne accorgesse.

Date per scontato che il vostro modello predefinito cambierà entro un trimestre. Metà dei team in questo indice ha già cambiato il suo il mese scorso. Progettare per questo non è over-engineering, è la base attuale.

La conclusione vera non è glamour. La scelta del modello è diventata una decisione di acquisto che si rivede ogni mese, e la bolletta segue le parti difficili del lavoro, non il marchio sull'API. È un mercato più sano di quello di un anno fa, e molto più fastidioso da pianificare.