Scrapling 解析 5,000 个元素只要 1.99 毫秒,难卖的是 Cloudflare 那一段

D4Vinci/Scrapling 一周内涨了约 8,700 star,总数到 99,671,冲上 GitHub 周榜。这是个 Python 抓取框架,赛道很挤,它也没打算靠体积取胜。README 第一行的卖点是把快速 HTTP 请求、隐身浏览器、解析和并发爬取放进同一个库,这句话描述的是平时得靠胶水粘起来的四个库。
大家引用的是那张 benchmark。5,000 个嵌套元素上的文本抽取:Scrapling 1.99 ms,Parsel/Scrapy 2.06,裸 lxml 2.56,PyQuery 23.98,Selectolax 197.02,MechanicalSoup 1,545.15,BeautifulSoup 配 lxml 1,562.1,BeautifulSoup 配 html5lib 3,412.73。README 说这是一百次运行的平均值。
这张表读两遍,能看出的东西比表面上窄。前三名彼此相差不到 30%,而且都是 lxml 内核,只是外面包了不同的壳。相对 BeautifulSoup 的 780x 差距是真的,而且已经真了十年。Scrapling 落在 lxml 的噪声范围内,同时做的远不止解析,这是个很不错的结果,也是另一种主张。
安装分两步,第一步是个坑
pip install scrapling
这条命令装的是解析引擎和它的依赖,没别的。从 `scrapling.fetchers` 或 `scrapling.spiders` import 会直接拿到 `ModuleNotFoundError`,因为 fetcher 走 extra 分发:
pip install "scrapling[fetchers]"
scrapling install
第二条命令下载浏览器和系统依赖。跳过它,隐身 fetcher 就没有可驱动的东西。其他 extra:`scrapling[ai]` 装 MCP server,`scrapling[rag]` 装面向检索的 markdown 输出,`scrapling[shell]` 装交互式 shell 和 `extract` 命令,`scrapling[all]` 全都要。Docker 镜像在 `pyd4vinci/scrapling` 和 GitHub registry 上都有。
这么拆站得住。解析器没理由把浏览器拖进来。代价是每个以 `pip install scrapling` 开头的教程都会在第二行报错,README 的第一条警告正好花在这上面。

两个 fetcher,两件不同的事
最基础的调用,所有人都会写:
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://quotes.toscrape.com/') quotes = page.css('.quote .text::text').getall() ```
`FetcherSession(impersonate='chrome')` 保持一个会话,并模仿浏览器的 TLS 指纹。对那种识别握手指纹、不看 user agent 的站点,这点很要紧。它还支持 HTTP/3。
另一个 fetcher 才是这个项目真正在卖的东西:
from scrapling.fetchers import StealthyFetcher
page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare', solve_cloudflare=True) ```
`StealthySession` 保持一个无头浏览器开着,能处理 Cloudflare Turnstile 和 interstitial 检查,还能用 `record_requests=True` 配合 `session.network.search()` 把页面发出的后台 API 调用捞出来。最后这条会改变工作流。很多抓取工作根本不在读 HTML,而在找页面调用的那个 JSON 端点,然后直接调它。能把那些请求摊开的工具,省下的是在 dev tools 里泡掉的半天。
还有 `ProxyRotator` 用来轮换代理,通过 Cloudflare 做的 DoH DNS 泄漏保护,对大约 3,500 个已知广告和追踪域名的拦截,以及 `cdp_url` 挂到远程浏览器上。
Spider API 是故意做成 Scrapy 形状的
from scrapling.spiders import Spider, Response
class QuotesSpider(Spider): name = "quotes" start_urls = ["https://quotes.toscrape.com/"] concurrent_requests = 10
async def parse(self, response: Response): for quote in response.css('.quote'): yield {"text": quote.css('.text::text').get(), "author": quote.css('.author::text').get()} nxt = response.css('.next a') if nxt: yield response.follow(nxt[0].attrib['href'])
result = QuotesSpider().start() result.items.to_json("quotes.json") ```
`start_urls`、async 的 `parse`、yield 出来的 dict、`Request` 和 `Response` 对象:写过 Scrapy spider 的人不用翻文档就能读。框架另外给了按域名节流的 AutoThrottle、`robots_txt_obey`、`LinkExtractor`、带重试的拦截检测,还有一个把响应缓存到磁盘的开发模式,重放一次抓取不用再打站点。
`crawldir` 是实践中最省时间的功能。传一个目录进去,Ctrl+C 会把未完成的请求和已见 URL 存下来,用同一个目录重启,抓取接着跑。长时间抓取会失败,假设它不会失败的框架,是要你守在旁边的框架。
常见形状都有模板:`CrawlSpider`、`SitemapSpider`、XML 和 CSV feed spider,以及 `ShopifySpider`,它读商店公开的 collection 端点,每个 variant 出一条 item。导出是内置的:`to_json`、`to_jsonl`、`to_csv`、`to_xml`。
selector 对象被低估了
解析后的页面以 `Selector` 对象返回,取代了节点列表。它支持 CSS、XPath、`find_all`、`find_by_text`、正则搜索,也支持导航:`.next`、`.parent`、`.below_elements`、`find_similar()`。还有一个元素追踪功能,站点改版后能重新定位目标,那正是拖垮长期爬虫的维护问题。它不会次次都成,成了就省掉一次重写。
解析器也能单独跑:`Selector("...")`,不发网络请求,单测抽取逻辑靠的就是它。
MCP server,以及一个抓取库为什么现在要带一个
`scrapling[ai]` 加一个 MCP server,agent 可以直接调 fetcher,包括截图、已登录会话和捕获到的后台 API。README 提到 prompt injection 防护,这确实是该担心的地方:一个把页面文本递给模型的抓取器,就是一条通道,页面想让模型读到什么,模型就读到什么。
这个打包选择说明了维护者认为用户在哪。一年前,抓取库是数据工程师写在脚本里的东西。现在它也是 agent 在任务中途顺手拿起来的工具,而 agent 要的接口,是带 schema 的一次 tool call。
README 里真正干活的那一行
埋在接近末尾的位置:"This library is provided for educational and research purposes only." 后面还有一句,请遵守服务条款和 robots.txt。
这是标准免责声明,法律上不太顶用。它倒是把实际处境说准了。过机器人检测的技术能力,和获得这样做的法律许可,是两件不相干的事,而后者正在变糟。从前容忍抓取的站点,现在在起诉、在边缘拦截、或者在卖访问许可。一个让绕过变得轻而易举的框架,把决定从「我能不能」挪到「我该不该」,然后把这个决定交给跑脚本的人。
benchmark 表会带来 star,安装的坑会带来 issue。决定这个仓库两年后还有没有用的,是维护者能不能让隐身层保持最新,因为那是一条停不下来的跑步机,解析不是。
相关文章
十份降级报告,没有一份改了订单数字
十份降级报告都在讲不确定性,没有一份改动订单。真正的变量是 158 美元的恐慌低点和 5.1% 的十年期收益率。
三十三年来第一次,黄仁勋不在电话会上
数字几乎无悬念,真正要看的是克雷斯如何在首次独自主持的电话会上回答指引、Rubin 与毛利率三个问题。
一份社区维护的点击表,关掉了国产 Android 系统里的广告
它不动系统,不解锁,不刷机,只把厂商本来就留出来的开关一个个拨过去。代价是这份名单得一直有人续写。
GPT Image 2.6 守住 token 价格,账单却涨了
GPT Image 2.6 沿用了 2.5 的全部 token 费率,单张图却更贵,因为更多的活现在花在输出 token 上。上线十一天,定价结构说的比排行榜更多。