← Voltar ao blog
Aicerca de 6 min de leitura

O Scrapling analisa 5,000 elementos em 1.99 milissegundo. A parte do Cloudflare é mais difícil de vender.

Publicado 8 de nov. de 2026
O Scrapling analisa 5,000 elementos em 1.99 milissegundo. A parte do Cloudflare é mais difícil de vender.

O D4Vinci/Scrapling entrou no ranking semanal do GitHub com cerca de 8,700 estrelas em sete dias, chegando a 99,671 no total. É um framework de scraping em Python, uma categoria lotada, e não está competindo por ser pequeno. A proposta da primeira linha do README é juntar requisições HTTP rápidas, navegador furtivo, parsing e crawl concorrente numa única biblioteca, o que descreve quatro bibliotecas que normalmente precisam ser coladas com fita.

O número que as pessoas citam é um benchmark. Extração de texto em 5,000 elementos aninhados: Scrapling em 1.99 ms, Parsel/Scrapy em 2.06, lxml puro em 2.56, PyQuery em 23.98, Selectolax em 197.02, MechanicalSoup em 1,545.15, BeautifulSoup com lxml em 1,562.1, BeautifulSoup com html5lib em 3,412.73. Médias de cem execuções, segundo o README.

Leia essa tabela duas vezes e ela diz menos do que parece. Os três primeiros ficam dentro de 30% entre si, e os três são parsers baseados em lxml com embalagens diferentes. A diferença de 780x para o BeautifulSoup é real, e é real há dez anos. O Scrapling fica no ruído do lxml fazendo muito mais do que parsear, o que é um bom resultado e outra afirmação.

A instalação tem duas etapas e a primeira é uma armadilha

pip install scrapling

Isso instala o motor de parsing e suas dependências. Nada mais. Importar de `scrapling.fetchers` ou `scrapling.spiders` devolve um `ModuleNotFoundError`, porque os fetchers vêm como extra:

pip install "scrapling[fetchers]"
scrapling install

O segundo comando baixa navegadores e dependências de sistema. Pule e os fetchers furtivos não têm o que dirigir. Outros extras: `scrapling[ai]` para o servidor MCP, `scrapling[rag]` para saída markdown voltada a recuperação, `scrapling[shell]` para o shell interativo e o comando `extract`, `scrapling[all]` para tudo. Existem imagens Docker em `pyd4vinci/scrapling` e no registry do GitHub.

A separação se justifica. Um parser não tem por que arrastar um navegador. Ainda assim, todo tutorial que começa com `pip install scrapling` produz um traceback na segunda linha, e o README gasta o primeiro aviso exatamente nisso.

Um pote de aço inox com tampa de encaixe, aberto, sobre fundo cinza escuro.

Dois fetchers, dois trabalhos diferentes

A chamada básica, a que todo mundo escreve:

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/') quotes = page.css('.quote .text::text').getall() ```

`FetcherSession(impersonate='chrome')` mantém uma sessão e imita a impressão digital TLS de um navegador, o que importa em sites que identificam o handshake em vez da string user agent. Também suporta HTTP/3.

O outro fetcher é o que o projeto realmente vende:

from scrapling.fetchers import StealthyFetcher

page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare', solve_cloudflare=True) ```

`StealthySession` mantém um navegador headless aberto, resolve Cloudflare Turnstile e checagens intersticiais, e aceita `record_requests=True` com `session.network.search()` para capturar as chamadas de API que a página faz em segundo plano. Essa última função muda o fluxo de trabalho. Boa parte do scraping não é ler HTML, é achar o endpoint JSON que a página chama e chamá-lo direto. Uma ferramenta que expõe essas requisições economiza uma tarde no dev tools.

Há também `ProxyRotator` para alternar proxies, proteção contra vazamento de DNS via DoH na Cloudflare, bloqueio de cerca de 3,500 domínios conhecidos de anúncio e rastreamento, e uma opção `cdp_url` para se conectar a um navegador remoto.

A API Spider tem forma de Scrapy de propósito

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider): name = "quotes" start_urls = ["https://quotes.toscrape.com/"] concurrent_requests = 10

async def parse(self, response: Response): for quote in response.css('.quote'): yield {"text": quote.css('.text::text').get(), "author": quote.css('.author::text').get()} nxt = response.css('.next a') if nxt: yield response.follow(nxt[0].attrib['href'])

result = QuotesSpider().start() result.items.to_json("quotes.json") ```

`start_urls`, `parse` assíncrono, dicts com yield, objetos `Request` e `Response`: quem já escreveu um spider de Scrapy lê isso sem abrir a documentação. O framework acrescenta limitação por domínio com AutoThrottle, `robots_txt_obey`, um `LinkExtractor`, detecção de requisições bloqueadas com retry, e um modo de desenvolvimento que guarda respostas em disco para repetir um crawl sem bater no site de novo.

`crawldir` é o recurso que vai economizar mais tempo na prática. Passe um diretório e o Ctrl+C persiste requisições pendentes e URLs vistas; reinicie com o mesmo diretório e o crawl continua. Crawls longos falham, e um framework que assume o contrário é um framework que você vigia.

Há templates para os formatos comuns: `CrawlSpider`, `SitemapSpider`, spiders para feeds XML e CSV, e `ShopifySpider`, que lê os endpoints públicos de coleção de uma loja e emite um item por variante. A exportação é embutida: `to_json`, `to_jsonl`, `to_csv`, `to_xml`.

O objeto selector é a parte subestimada

As páginas parseadas voltam como um objeto `Selector`, não como lista de nós. Suporta CSS, XPath, `find_all`, `find_by_text`, busca por regex e navegação: `.next`, `.parent`, `.below_elements`, `find_similar()`. Há um recurso de rastreamento de elemento que relocaliza um alvo depois de um redesenho do site, e esse é o problema de manutenção que mata scrapers de vida longa. Não vai funcionar sempre, e quando funciona economiza uma reescrita.

O parser também roda sozinho: `Selector("...")` sem chamada de rede, que é como se testa a lógica de extração em unidade.

O servidor MCP, e por que uma biblioteca de scraping agora traz um

`scrapling[ai]` adiciona um servidor MCP para um agente chamar os fetchers direto, incluindo screenshots, sessões logadas e APIs de fundo capturadas. O README cita proteção contra prompt injection, e é a preocupação certa: um scraper que entrega texto de página a um modelo é um canal para o que a página quiser que o modelo leia.

Essa escolha de empacotamento diz onde os mantenedores acham que estão os usuários. Um ano atrás, uma biblioteca de scraping era usada por um engenheiro de dados dentro de um script. Agora também é uma ferramenta que um agente pega no meio da tarefa, e a interface de que ele precisa é uma tool call com schema.

A linha do README que faz o trabalho de verdade

Enterrada perto do fim: "This library is provided for educational and research purposes only." Mais um pedido para respeitar os termos de serviço e o robots.txt.

É um aviso padrão e juridicamente não vale muito. Mas descreve a situação real com precisão. A capacidade técnica de passar por uma checagem anti-bot e a permissão legal para isso não têm relação, e a segunda está piorando. Sites que toleravam scraping agora processam, bloqueiam na borda ou vendem acesso. Um framework que torna a burla trivial desloca a decisão de "posso" para "devo", e desloca para quem roda o script.

A tabela de benchmark vai render as estrelas. A armadilha da instalação vai render as issues. O que decide se este repositório será útil em dois anos é se os mantenedores mantêm a camada furtiva atualizada, porque isso é uma esteira e o parsing não é.

Artigos relacionados