← Torna al blog
Aicirca 7 min di lettura

Scrapling ha 99.000 stelle perché è noioso

Pubblicato 9 nov 2026
Scrapling ha 99.000 stelle perché è noioso

Scrapling ha 99.627 stelle su GitHub questa settimana. È un numero strano per una libreria di web scraping, una categoria dove il lavoro onesto è poco appariscente e i progetti popolari tendono a essere abbandonati o riscritti ogni diciotto mesi.

Il suo README fa una promessa grossa nelle prime due righe — «il MIGLIORE framework di web scraping, che gestisce tutto, da una singola richiesta a un crawl su larga scala» — e poi, cosa insolita, passa il resto del documento a guadagnarsela con i dettagli. Comandi di installazione che si rompono se salti un passaggio. Una challenge di Cloudflare risolta in quattro righe di Python. Una nota che l'installazione solo-parser solleva ModuleNotFoundError appena importi un fetcher, che è esattamente il genere di cosa che un README di solito nasconde.

È per quell'ultimo dettaglio che mi fido del resto.

L'installazione è il tutorial

Serve Python 3.10 o superiore. Poi:

pip install scrapling

Questo ti dà il motore di parsing e nient'altro. Nessun fetcher, nessuna CLI, nessun browser. Se provi a importare da scrapling.fetchers fallisce, e il README te lo dice in un riquadro di avviso invece di lasciarti scoprirlo.

Per scaricare davvero le pagine:

pip install "scrapling[fetchers]"
scrapling install

Il secondo comando scarica i browser, le loro dipendenze di sistema e il livello di manipolazione dei fingerprint. Ci sono extra ulteriori se servono: [ai] per il server MCP, [rag] per gli helper RAG, [shell] per la shell interattiva e il comando extract, [all] per tutto. C'è anche un'immagine Docker, che è quello che la maggior parte userà in produzione.

La struttura dice a chi è rivolto. Un analista dati che vuole fare il parsing di un file HTML non paga nulla in più. Chi lancia un crawl paga il download dei browser una volta.

Quattro righe che prima erano quaranta

Lo schema di base è una sessione con un fingerprint di browser attaccato:

with FetcherSession(impersonate='chrome') as session:
    page = session.get(url, stealthy_headers=True)
    quotes = page.css('.quote .text::text').getall()

Quell'argomento impersonate fa un lavoro vero. Fa sembrare la richiesta la versione corrente di Chrome a livello TLS, non solo nella stringa user-agent. Chi ha visto uno scraper bloccato senza motivo apparente sa che l'indizio è di solito l'handshake, non gli header.

Quando una pagina ha bisogno di JavaScript, gli stessi selettori funzionano su un browser reale:

with StealthySession(headless=True, solve_cloudflare=True) as session:
    page = session.fetch(target, google_search=False)

E Scrapling tiene una sola API su tutto. page.css(), page.xpath(), ricerca testuale, ricerca regex: le stesse chiamate sia che la pagina arrivi da una richiesta HTTP grezza sia da un Chromium headless che ha appena superato un interstitial. Quella coerenza è gran parte del valore. La maggior parte degli stack di scraping ti costringe a scrivere due versioni di ogni parser e a mantenerle entrambe.

A mechanical keyboard in a dark room, teal and amber reflections on the keycaps

La funzione che giustifica davvero le stelle

Il web scraping si rompe di continuo, e quasi mai in modo rumoroso. Un sito cambia il nome di una classe, il tuo selettore restituisce una lista vuota, e la pipeline continua a girare e a scrivere null nel database finché qualcuno non se ne accorge una settimana dopo.

La risposta di Scrapling è il tracciamento adattivo degli elementi: salva abbastanza informazioni su un elemento trovato da poterlo ricollocare dopo un cambio di struttura, usando la somiglianza invece di un selettore esatto. C'è anche una chiamata «trova elementi simili» che individua automaticamente i fratelli di un elemento: utile quando una pagina di listino aggiunge un badge o avvolge gli elementi in un nuovo div.

Non è magia e non ti salva da un restyling completo. Ma il modo di fallire che affronta — un selettore che smette di combaciare in silenzio — è il più costoso di questo mestiere. Qualsiasi cosa trasformi un fallimento silenzioso in una corrispondenza approssimativa vale una dipendenza.

Perché va di moda adesso e non due anni fa

La questione di tempo non riguarda lo scraping. Riguarda chi fa lo scraping.

Il repository include una skill per agenti — elencata su Clawhub, documentata accanto alla libreria — così un agente AI può chiamare Scrapling come strumento invece di generare ogni volta uno script una tantum con requests e BeautifulSoup. C'è anche un server MCP dietro l'extra [ai].

È una categoria di prodotto diversa da «una libreria che gli umani importano». Quando un agente scrive il proprio scraper tende a produrre codice che funziona una volta: nessuna logica di retry, nessuna gestione del fingerprint, nessuna idea di cosa fare con una pagina Cloudflare. Dargli uno strumento che gestisce già tutto questo costa meno che sperare che lo script generato sia buono.

Quindi il conteggio delle stelle è in parte una scommessa su un flusso di lavoro: non «scriverò uno scraper», ma «il mio agente dovrà leggere una pagina, e voglio che sia una sola chiamata».

Una valutazione da dieci minuti

Non giudicarlo su una pagina amichevole. Prendi il sito che ha rotto il tuo ultimo scraper: quello con i listini a caricamento lazy e un controllo bot che compare dopo tre richieste.

Scaricalo una volta con Fetcher e annota se ottieni l'HTML vero o un guscio. Poi scaricalo con StealthyFetcher e guarda quanto ci mette il browser ad avviarsi e superare la challenge. Quel numero è il tuo budget per pagina; qualcosa sopra un secondo o due cambia come progetti un crawl.

Poi rompi il selettore di proposito. Cambia il nome di una classe in una copia salvata della pagina e rilancia il parsing. Se il tracciamento adattivo ricolloca l'elemento, hai trovato la funzione che ti farà risparmiare più tempo in un anno. Se non restituisce nulla, conosci il limite.

Infine puntalo su una pagina che restituisce 404 e su una che va in timeout. La gestione degli errori è dove le librerie di solito rivelano se qualcuno le ha mai lanciate in produzione.

Dove si colloca rispetto a un framework per browser

Scrapling non cerca di sostituire Playwright, e vale la pena essere chiari sul confronto. Playwright è una libreria di automazione del browser: guida un browser ed espone tutto ciò che il browser sa fare, compresi click, digitazione, attese su condizioni di rete e screenshot. È lo strumento giusto per testare una UI.

Scrapling è una libreria di scraping che usa un browser quando una pagina lo richiede. La sua API è costruita intorno all'estrazione di dati, non alla riproduzione del comportamento umano. Se il tuo lavoro è «leggi questa tabella da quarantamila pagine prodotto», la differenza è tutto; se il tuo lavoro è «accedi, aggiungi al carrello, verifica la ricevuta», vuoi lo strumento di automazione.

La sovrapposizione è reale, e la maggior parte dei team finisce con entrambi: Playwright per i flussi da scriptare, Scrapling per le pagine da leggere.

A cosa fare attenzione

Risolvere le challenge di Cloudflare è una capacità tecnica legittima e legalmente grigia, a seconda di dove sei e di cosa raccogli. La libreria non te lo dice. Termini di servizio, robots.txt, limiti di frequenza e regole sui dati personali valgono comunque, che il tuo client renderizzi JavaScript o no.

Anche l'automazione dei browser su larga scala è pesante. Ogni sessione stealth è un browser vero. Diecimila pagine con StealthyFetcher sono una bolletta di calcolo, non uno script. Parti dal semplice Fetcher e sali solo per le pagine che ne hanno davvero bisogno.

E la sicurezza del README è una personalità, non una garanzia. Il progetto si confronta favorevolmente con le alternative; quei confronti sono dell'autore, misurati sui benchmark dell'autore. Prendili come motivo per testare, non come risultato.

In sintesi

La cosa interessante di Scrapling non è che batte gli altri scraper su un benchmark. È che una libreria il cui lavoro principale è essere noiosa ha preso 99.000 stelle essendo onesta sulle parti noiose: i fingerprint, l'installazione dei browser, i selettori che smettono di combaciare, la pagina che vuole una challenge risolta prima di parlarti.

La maggior parte del web è ancora tenuta insieme da div e speranza. Strumenti che lo rispettano vale la pena tenerli.

Articoli correlati