← Retour au blog
AiEnviron 7 min de lecture

Scrapling analyse 5,000 éléments en 1.99 milliseconde. Le morceau Cloudflare est plus dur à vendre.

Publié le 8 nov. 2026
Scrapling analyse 5,000 éléments en 1.99 milliseconde. Le morceau Cloudflare est plus dur à vendre.

D4Vinci/Scrapling est entré dans le classement hebdomadaire de GitHub avec environ 8,700 étoiles en sept jours, pour un total de 99,671. C'est un framework de scraping Python, une catégorie encombrée, et il ne cherche pas à gagner sur la taille. L'argument de la première ligne du README : réunir requêtes HTTP rapides, navigateur furtif, parsing et crawl concurrent dans une seule bibliothèque, ce qui décrit quatre bibliothèques qu'on colle habituellement ensemble.

Le chiffre que l'on cite est un benchmark. Extraction de texte sur 5,000 éléments imbriqués : Scrapling à 1.99 ms, Parsel/Scrapy à 2.06, lxml brut à 2.56, PyQuery à 23.98, Selectolax à 197.02, MechanicalSoup à 1,545.15, BeautifulSoup avec lxml à 1,562.1, BeautifulSoup avec html5lib à 3,412.73. Moyennes sur cent exécutions, selon le README.

Lisez ce tableau deux fois et il en dit moins qu'il n'y paraît. Les trois premiers se tiennent à 30% les uns des autres, et tous trois sont des parseurs basés sur lxml avec des emballages différents. L'écart de 780x avec BeautifulSoup est réel, et il l'est depuis dix ans. Scrapling se situe dans le bruit de lxml tout en faisant bien plus que parser, ce qui est un bon résultat et une autre affirmation.

L'installation se fait en deux temps, et le premier est un piège

pip install scrapling

Cette commande installe le moteur de parsing et ses dépendances. Rien d'autre. Importez depuis `scrapling.fetchers` ou `scrapling.spiders` et vous obtenez un `ModuleNotFoundError`, parce que les fetchers sont livrés en extra :

pip install "scrapling[fetchers]"
scrapling install

La seconde commande télécharge les navigateurs et les dépendances système. Sautez-la et les fetchers furtifs n'ont rien à piloter. Autres extras : `scrapling[ai]` pour le serveur MCP, `scrapling[rag]` pour une sortie markdown pensée pour la recherche, `scrapling[shell]` pour le shell interactif et la commande `extract`, `scrapling[all]` pour tout. Des images Docker existent sur `pyd4vinci/scrapling` et sur le registre GitHub.

La séparation se défend. Un parseur n'a rien à faire d'un navigateur. Elle implique quand même que chaque tutoriel qui commence par `pip install scrapling` produise une traceback à la deuxième ligne, et le README consacre son premier avertissement exactement à ça.

Un bocal en inox à couvercle clipsé, ouvert, sur un fond gris anthracite.

Deux fetchers, deux métiers

L'appel de base, celui que tout le monde écrit :

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/') quotes = page.css('.quote .text::text').getall() ```

`FetcherSession(impersonate='chrome')` garde une session et imite l'empreinte TLS d'un navigateur, ce qui compte pour les sites qui identifient la poignée de main plutôt que le user agent. Il gère aussi HTTP/3.

L'autre fetcher est celui que le projet vend vraiment :

from scrapling.fetchers import StealthyFetcher

page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare', solve_cloudflare=True) ```

`StealthySession` garde un navigateur headless ouvert, sait résoudre Cloudflare Turnstile et les contrôles interstitiels, et accepte `record_requests=True` avec `session.network.search()` pour capturer les appels d'API que la page déclenche en arrière-plan. Cette dernière fonction change la façon de travailler. Beaucoup de scraping ne consiste pas à lire du HTML, mais à trouver l'endpoint JSON que la page appelle et à l'appeler directement. Un outil qui expose ces requêtes économise une après-midi dans les dev tools.

Il y a aussi `ProxyRotator` pour faire tourner les proxies, une protection contre les fuites DNS via DoH chez Cloudflare, le blocage d'environ 3,500 domaines publicitaires et de pistage connus, et une option `cdp_url` pour s'attacher à un navigateur distant.

L'API Spider a la forme de Scrapy, exprès

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider): name = "quotes" start_urls = ["https://quotes.toscrape.com/"] concurrent_requests = 10

async def parse(self, response: Response): for quote in response.css('.quote'): yield {"text": quote.css('.text::text').get(), "author": quote.css('.author::text').get()} nxt = response.css('.next a') if nxt: yield response.follow(nxt[0].attrib['href'])

result = QuotesSpider().start() result.items.to_json("quotes.json") ```

`start_urls`, `parse` asynchrone, dicts yield, objets `Request` et `Response` : quiconque a écrit un spider Scrapy lit ça sans ouvrir la doc. Le framework ajoute un throttling par domaine avec AutoThrottle, `robots_txt_obey`, un `LinkExtractor`, une détection des requêtes bloquées avec retry, et un mode développement qui met les réponses en cache sur disque pour rejouer un crawl sans retoucher au site.

`crawldir` est la fonction qui fera gagner le plus de temps en pratique. Passez un répertoire et Ctrl+C conserve les requêtes en attente et les URL vues ; relancez avec le même répertoire et le crawl reprend. Les crawls longs échouent, et un framework qui suppose le contraire est un framework que l'on surveille.

Des templates sont fournis pour les formes courantes : `CrawlSpider`, `SitemapSpider`, des spiders pour flux XML et CSV, et `ShopifySpider`, qui lit les endpoints publics de collection d'une boutique et émet un item par variant. L'export est intégré : `to_json`, `to_jsonl`, `to_csv`, `to_xml`.

L'objet selector est la partie sous-estimée

Les pages parsées reviennent sous forme d'objet `Selector` plutôt que de liste de nœuds. Il gère CSS, XPath, `find_all`, `find_by_text`, la recherche par regex, et la navigation : `.next`, `.parent`, `.below_elements`, `find_similar()`. Une fonction de suivi d'élément relocalise une cible après une refonte du site, ce qui est le problème de maintenance qui tue les scrapers au long cours. Elle ne marchera pas toujours, et quand elle marche, elle évite une réécriture.

Le parseur tourne aussi seul : `Selector("...")` sans appel réseau, ce qui permet de tester unitairement la logique d'extraction.

Le serveur MCP, et pourquoi une bibliothèque de scraping en livre un aujourd'hui

`scrapling[ai]` ajoute un serveur MCP pour qu'un agent appelle les fetchers directement, captures d'écran, sessions connectées et API d'arrière-plan incluses. Le README mentionne une protection contre la prompt injection, et c'est le bon sujet d'inquiétude : un scraper qui tend le texte d'une page à un modèle est un canal pour tout ce que la page veut faire lire au modèle.

Ce choix de packaging dit où les mainteneurs situent leurs utilisateurs. Il y a un an, une bibliothèque de scraping servait à un data engineer dans un script. Elle est aussi devenue un outil qu'un agent ramasse en cours de tâche, et l'interface dont il a besoin est un tool call avec un schéma.

La ligne du README qui fait le vrai travail

Enterrée vers la fin : "This library is provided for educational and research purposes only." Avec une demande de respecter les conditions d'utilisation et robots.txt.

C'est un avertissement standard et il ne pèse pas lourd juridiquement. Il décrit en revanche assez justement la situation. La capacité technique de passer un contrôle anti-bot et l'autorisation légale de le faire n'ont rien à voir, et la seconde se dégrade. Des sites qui toléraient le scraping attaquent maintenant en justice, bloquent en périphérie ou vendent l'accès. Un framework qui rend le contournement trivial déplace la décision de "puis-je" vers "dois-je", et il la déplace sur celui qui lance le script.

Le tableau de benchmark apportera les étoiles. Le piège d'installation apportera les issues. Ce qui déterminera si ce dépôt est encore utile dans deux ans, c'est la capacité des mainteneurs à garder la couche furtive à jour, parce que c'est un tapis roulant, et le parsing non.

Articles associés