Baidu ha costruito una borsa per i modelli, e dà un voto ai venditori

Il 12 novembre, alla conferenza annuale di Pechino, Baidu ha presentato una cosa che in Occidente non ha un equivalente evidente: una sede di scambio regolamentata per i token dei modelli. Si chiama 词元所, più o meno borsa dei token. L'analogia usata dal fondatore sul palco era esplicita. Una borsa attira le buone aziende e permette agli investitori di trovarle. Questa attira i buoni modelli e permette agli acquirenti di trovarli.
Il problema che dichiara di risolvere lo riconosce chiunque abbia comprato accesso API tramite un rivenditore. Robin Li l'ha detto senza giri: nei primi nove mesi dell'anno è uscito un modello nuovo quasi ogni giorno, a volte più di uno. Attorno a quell'ondata è cresciuta un'industria domestica di rivenditori di token, e secondo la sua descrizione questi rivenditori non si assumono responsabilità sulla qualità dell'output, sulla stabilità del servizio o sul tempo di risposta, e non riescono nemmeno a dimostrare che il modello dietro l'endpoint sia quello che pubblicizzano.
Quell'ultima frase è l'intero caso di business. Un rivenditore può indirizzare la richiesta a un modello più economico, tenersi la differenza e, a meno che l'output non peggiori in modo visibile, lei non lo scoprirà mai.
Due funzioni, entrambe sulla fiducia
La risposta di Baidu ha due parti, e i nomi meritano una traduzione attenta perché portano l'argomento.
La prima è la verifica. I fornitori passano per confronto delle impronte dei modelli, test di capacità e test di prestazioni e disponibilità. Impronta qui significa quello che sembra: sondare l'endpoint, confrontare le risposte con la firma del modello di riferimento e stabilire che ciò che risponde è ciò che viene venduto.
La seconda è l'informazione creditizia. Baidu fa controlli a campione periodici e un monitoraggio end-to-end delle chiamate reali, e da lì costruisce un rating di credito per ogni fornitore. Gli acquirenti vedono il rating. Un declassamento fa scattare una notifica.
Nessuna delle due è tecnicamente nuova. Identificare un modello con sonde comportamentali è una tecnica nota, e monitorare la disponibilità lo fa ogni gateway API. La novità è impacchettare entrambe come primitiva di mercato e pubblicare il rating come attributo di prodotto.
I numeri dopo un mese
Baidu dice che la sede ha aperto un mese prima dell'annuncio e ha più di 100 risorse di offerta listate, con oltre 50 milioni di chiamate al giorno e oltre 700 miliardi di token al giorno.
Quei due numeri meritano un secondo sguardo, perché il rapporto tra loro è strano. Cinquanta milioni di chiamate e 700 miliardi di token fanno circa 14.000 token per chiamata. È una media lunga, più vicina all'elaborazione di documenti o ai cicli degli agenti che alla chat. O il mix è dominato da carichi batch, o chiamate e token sono misurati su basi diverse. Baidu non l'ha dettagliato sul palco.
Anche il numero di 100 risorse di offerta è ambiguo in modo utile. Può voler dire 100 fornitori, o 100 schede di modelli, o 100 endpoint. In un mercato sono numeri molto diversi, e la differenza è esattamente ciò che un acquirente vorrebbe sapere.
Baidu ha anche inquadrato il lancio contro un cattivo preciso: la stazione di relè dei token, il rivenditore che ricarica un modello e non risponde di ciò che torna. Quella cornice fa molto lavoro. Colloca la borsa come intermediario onesto in un mercato di cui il pubblico già diffida, e questo vende più di qualsiasi confronto di prezzi.
Perché una borsa è la forma giusta
L'accesso ai modelli è diventato un prodotto finanziario. Si paga in anticipo, si consuma, l'unità è misurata, e il fornitore può cambiare i termini del bene sottostante senza cambiare il prezzo. È un mercato di commodity con asimmetria informativa, che è la precondizione storica di una borsa.
Le borse esistono perché la fiducia bilaterale non scala. Quando ci sono cento venditori di una cosa difficile da ispezionare prima dell'acquisto, servono un contratto standard, uno strato di regolamento e qualcuno il cui lavoro sia prendere il venditore che consegna qualcosa di diverso da ciò che è stato valutato. Baidu propone di essere quel qualcuno, dietro compenso.
Il confronto con l'infrastruttura occidentale è istruttivo. OpenRouter fa qualcosa di adiacente: una chiave, molti modelli, classifiche d'uso in tempo reale e un listino per modello. Ciò che non fa pubblicamente è verificare che il modello che risponde sia quello scelto, o valutare il fornitore. Le sue classifiche sono preferenze rivelate, non audit.
Entrambi gli approcci hanno un modo di fallire. Un mercato puro ottimizza la liquidità e lascia la due diligence all'acquirente, e funziona finché l'offerta economica non vince sul prezzo e l'acquirente non sa cosa ha ricevuto. Una borsa con rating ottimizza la fiducia, e funziona finché gli incentivi di chi valuta non scivolano verso i venditori che pagano di più.
La parte difficile da copiare
La verifica su scala richiede ciò che quasi nessun mercato ha: un'implementazione di riferimento con cui confrontare. Baidu gestisce modelli propri, quindi ha le impronte dei modelli che ospita e una base di ciò che un dato prompt dovrebbe produrre. È un vantaggio che un terzo neutrale faticherebbe a mettere insieme senza la collaborazione di tutti i laboratori.
È anche il motivo per cui il modello difficilmente sarà replicato identico negli Stati Uniti o in Europa. Una borsa neutrale lì dovrebbe improntare modelli di aziende senza alcun interesse a farsi improntare, e pubblicare rating su cui quelle aziende farebbero causa.
La versione cinese può definire il riferimento. È una scelta di governance travestita da scelta tecnica.
Cosa guardare
Tre cose, nei prossimi due trimestri.
Se i rating di credito sono pubblici e comparabili, o visibili solo dentro la piattaforma. Un rating che un acquirente non può citare in un documento di acquisto è un programma fedeltà.
Se la verifica copre il caso difficile: un fornitore che serve il modello vero alla sonda e uno più economico al traffico di produzione. L'impronta all'ingresso non lo prende; il monitoraggio continuo potrebbe.
E se la borsa pubblica la propria commissione. Una sede che valuta i venditori e guadagna anche sul loro volume ha lo stesso conflitto di un'agenzia di rating pagata dagli emittenti, e la disclosure è l'unica cosa che la tiene onesta.
Il discorso sul palco parlava di scelta. Il prodotto parla di prova. Chi si è visto servire da un rivenditore un modello declassato sa già per quale delle due pagherebbe.
Articoli correlati
Un server, una streamer IA: dentro il codice che manda avanti una diretta notturna
open-yoki è il codice di produzione di una host IA che va in diretta ogni sera su Binance Square, con persona, voce e funzioni legate al denaro rimosse. headless Chrome disegna il frame, ffmpeg spinge RTMP, una cartella di Markdown decide umore e post.
Pinky lascia che un agent guidi il tuo telefono e tiene premuto Invia finché non tocchi Consenti
Pinky collega qualsiasi agent MCP a un iPhone o Android vero e impone l'approvazione nel proprio gateway invece che in un prompt. Le app bancarie sono invisibili, i campi password sono off limits e su Android 13 l'agent riceve un secondo schermo nascosto.
AnyModelBot mette un piccolo team di bot IA sulla tua macchina, chiavi comprese
AnyModelBot è un'app desktop che fa girare più bot insieme, ognuno con la sua persona, il suo modello, la sua cartella di lavoro e la sua memoria. Ci parli dentro l'app oppure da WeChat, Feishu, Telegram, Slack e Discord, e file, cronologia e chiavi API restano sul tuo disco.
SeedRealtime di ByteDance prende due frame al secondo e decide quando parlare
Doubao-Seed-Realtime-1.0 mette frame di camera, frame di schermo e voce in un'unica sessione full duplex, a non più di due frame al secondo. Le decisioni interessanti sono la frequenza dei frame, il parlato proattivo e la risposta di audit attiva di serie.