Un modello 27B compresso a due bit per peso

Un modello 27B compresso a due bit per peso

Il 9 ottobre, Underdog AI ha pubblicato Saluki 27B, una build compressa del modello Qwen 3.8 27B. La compressione è aggressiva: due bit per peso, che stipano il tutto in un file di circa 7,89 gigabyte. Secondo Underdog il risultato conserva circa il 96 per cento delle prestazioni dell'originale sui benchmark, e sulle attività di tool calling supera addirittura il modello a dimensione piena. Esce con licenza Apache 2.0 per flussi di lavoro di agenti in locale.

I numeri sembrano un refuso. Ridurre un modello a un quarto della sua profondità di bit di solito costa molta qualità. L'affermazione di Saluki è che non è andata così, e che sull'unico compito che conta di più per gli agenti è migliorato.

Perché la quantizzazione a due bit è difficile

I pesi di un modello sono memorizzati come numeri, e il numero di bit per peso stabilisce quanta precisione conserva ciascuno. A 16 bit, un peso può assumere uno tra decine di migliaia di valori. A due bit, può assumerne uno tra quattro. Stai chiedendo a una rete costruita su distinzioni fini di esprimersi con un vocabolario quasi inesistente.

Il motivo per cui di solito fallisce è che gli errori si accumulano. Arrotonda un po' ogni peso e lo strato è leggermente fuori posto. Impila decine di strati leggermente fuori posto e l'output si allontana molto dall'originale. La maggior parte del lavoro di quantizzazione considera quattro bit un limite pratico e accetta una certa perdita di qualità al di sotto.

I metodi che scendono più in basso non si limitano ad arrotondare più forte. Decidono quali pesi possono permettersi di essere grossolani e quali devono restare nitidi, e spesso rifiniscono il modello compresso in seguito per riparare i danni. Far reggere due bit è un processo accurato e mirato, non brutale.

Il risultato sul tool calling è la parte interessante

Che Saluki eguagli l'originale sui benchmark generali è notevole. Che superi l'originale sul tool calling è più strano, e indica qualcosa di reale. Il tool calling è un'attività strutturata: il modello deve emettere un nome di funzione e argomenti corretti, e piccole incoerenze fanno saltare tutto. Un modello leggermente più rumoroso può produrre un output leggermente più vario, il che in questo contesto può voler dire che inciampa meno sui casi limite.

C'è anche una spiegazione più semplice. Se il processo di compressione ha incluso un fine-tuning su dati di uso degli strumenti, il modello risultante non è solo più piccolo, ma anche più stretto nella direzione giusta. Uno specialista può battere un generalista sulla sua specialità pur perdendo su tutto il resto. La lettura onesta è che Saluki è un modello compresso che è stato anche orientato verso il lavoro da agente, e i due cambiamenti insieme spiegano il risultato.

La densità di intelligenza è la metrica che conta qui

Underdog inquadra il miglioramento come un guadagno di intelligenza per gigabyte, circa 7,5 volte l'originale. Questa impostazione è esattamente quella giusta per il caso dell'agente locale. Quando esegui un modello sulla tua macchina, il vincolo non è il punteggio del benchmark. È se il modello entra nella tua memoria e lascia spazio alle applicazioni intorno.

Un modello 27B a piena precisione richiede hardware serio. Lo stesso modello a circa otto gigabyte gira su un portatile, e il portatile è dove avviene davvero gran parte del lavoro da agente: leggere file, eseguire comandi, controllare risultati. Il valore della compressione non è estetico. È la differenza tra un modello capace che puoi eseguire in locale e un modello capace che puoi solo affittare.

Perché i modelli di agente locali convergono su questa dimensione

Saluki è uno dei vari modelli piccoli e con licenza aperta che compaiono per fare il lavoro ripetitivo dentro sistemi più grandi. Lo schema è costante: un modello tra circa 7 e 30 miliardi di parametri, compresso con decisione, con licenza permissiva, mirato al ciclo stretto di un agente.

La logica è ogni volta la stessa. Un agente chiama il suo modello molte volte per attività, quindi il costo e la latenza per chiamata dominano l'esperienza. Un modello abbastanza piccolo da girare in locale elimina sia il viaggio di rete sia la bolletta per token, e questo cambia quanto aggressivamente puoi usare l'agente. Smette di misurare il tuo stesso assistente.

C'è una seconda ragione, più silenziosa. I modelli eseguiti in locale non mandano i tuoi dati da nessuna parte, il che conta per chi lavora con codice o documenti che non gli è permesso caricare. Per quel pubblico, la compressione non è un'ottimizzazione dei costi. È l'unico modo per avere un modello capace, punto.

Il caso dei file piccoli, in un numero

Aiuta rendere concreta la differenza di dimensione. Un modello da 27 miliardi di parametri a 16 bit occupa circa 54 gigabyte prima di qualsiasi overhead di esecuzione. Non entra nella maggior parte dei portatili, e non entra nella memoria che resta dopo che sistema operativo, browser ed editor hanno preso la loro parte. A due bit, lo stesso numero di parametri arriva vicino a 8 gigabyte, che entra, ed entra accanto agli strumenti che l'agente dovrebbe guidare.

È tutto qui l'argomento a favore della compressione a basso numero di bit in un contesto di agente locale. Non si tratta di eseguire un modello che prima non poteva girare affatto, anche se questo ne fa parte. Si tratta di eseguire un modello abbastanza comodamente da permettere all'agente di chiamarlo ripetutamente senza che la macchina se ne accorga, perché un agente che rende lento tutto il sistema è un agente che nessuno tiene acceso.

Cosa controllare prima di crederci

I modelli compressi meritano un tipo specifico di scetticismo. Il benchmark di punta può reggere mentre il modello peggiora sugli input lunghi e disordinati che produce il lavoro reale. I danni della quantizzazione si vedono spesso prima su formattazioni inusuali, contesti lunghi e lingue rare, e un benchmark breve non ne cattura nessuno.

Conta anche cosa descrive due bit. Profondità di bit per peso, dimensioni dei gruppi e se alcuni strati sono tenuti a precisione superiore cambiano tutti il significato del numero. Due bit in uno schema non è lo stesso che due bit in un altro, e la differenza non è ovvia da una scheda del modello.

A cosa porta tutto questo

Il dibattito sulla frontiera riguarda il modello più grande che chiunque può addestrare. Un dibattito parallelo, altrettanto decisivo, riguarda il modello più piccolo che resta abbastanza buono da essere utile sul tuo hardware. Saluki 27B sta nel secondo dibattito, e avanza un'affermazione concreta e verificabile: che due bit bastano per il lavoro che gli agenti fanno davvero.

Se quell'affermazione regge fuori dal benchmark, abbassa il pavimento di ciò che una persona può eseguire in locale, e di solito è su un pavimento più basso che si costruisce la prossima ondata di prodotti. Il modello non è la storia. Il restringersi del modello lo è.

Vale la pena ricordare che questo è un campo giovane. I metodi che fanno funzionare i pesi a due bit si stanno ancora scrivendo, e ogni rilascio è tanto una dimostrazione di una tecnica di compressione quanto un prodotto. Saluki è interessante meno per ciò che è oggi che per ciò che dimostra sia ormai possibile far passare da un tubo stretto. Il prossimo modello di questa linea sarà più piccolo, più affilato o entrambe le cose, e il pavimento scenderà di nuovo.