Scrapling 拿到 99,627 颗星,靠的是无聊那部分

截至这周,Scrapling 在 GitHub 上有 99,627 颗星。对一个网页抓取库来说这个数字有点怪:这个品类里实在的活都不体面,流行项目要么被弃养,要么每十八个月重写一遍。
它的 README 头两行就放了个大话——「最好的网页抓取框架,从单个请求到全量爬取都能处理」——然后少见地花掉剩下整篇文档,用具体细节把这个话挣回来。安装命令少一步就会坏。四行 Python 解掉一个 Cloudflare 挑战。还有一句提醒:只装解析器的版本,你一 import fetcher 就会报 ModuleNotFoundError,这正好是 README 通常会藏起来的那类东西。
最后这个细节,是我信其余部分的原因。
安装过程就是教程
需要 Python 3.10 或更高。然后:
pip install scrapling
这只会给你解析引擎,别的没有。没有 fetcher,没有 CLI,没有浏览器。你想从 scrapling.fetchers 里 import,会失败——README 用警告框告诉了你,而不是让你自己去发现。
要真的抓页面:
pip install "scrapling[fetchers]"
scrapling install
第二条命令会下载浏览器、它们的系统依赖,还有指纹处理层。需要的话还有别的附加包:[ai] 是 MCP 服务器,[rag] 是 RAG 辅助,[shell] 是交互式抓取 shell 和 extract 命令,[all] 是全部。也有 Docker 镜像,多数人最后在生产里用的就是这个。
这个结构本身就说明了它是给谁的。只想解析一个 HTML 文件的数据分析师,不用多付任何代价。跑爬取的人,把浏览器下载一次。
过去要四十行,现在四行
基本形态是一个带浏览器指纹的 session:
with FetcherSession(impersonate='chrome') as session:
page = session.get(url, stealthy_headers=True)
quotes = page.css('.quote .text::text').getall()
impersonate 这个参数在干真活。它让请求在 TLS 层面看起来像当前版本的 Chrome,而不只是改个 user-agent 字符串。看过爬虫莫名其妙被封的人都知道,露馅的通常是握手,不是请求头。
页面需要 JavaScript 时,同一套选择器可以对着真浏览器用:
with StealthySession(headless=True, solve_cloudflare=True) as session:
page = session.fetch(target, google_search=False)
而 Scrapling 在这一整套里只保留一套 API。page.css()、page.xpath()、文本搜索、正则搜索——不管页面来自一次裸 HTTP 请求,还是来自刚清掉一个拦截页的无头 Chromium,调用都一样。这种一致性就是价值的大头。多数抓取技术栈逼你给每个解析器写两个版本,然后两个都维护。

真正撑起这些星的功能
网页抓取一直在坏,而且几乎从来不响。站点改了个类名,你的选择器返回空列表,你的流水线照跑,往数据库里写空值,直到一周后有人发现。
Scrapling 的答案是自适应元素追踪:它会存下命中元素的足够信息,页面结构变化后还能重新定位,靠的是相似度而不是精确选择器。还有一个「找相似元素」的调用,能自动定位命中元素的兄弟节点——列表页加了个角标,或者把条目包进新的 div 时,这很有用。
这不是魔法,也救不了整站改版。但它针对的那种失败——选择器悄悄不再命中——是这行里最贵的一种。任何能把静默失败变成模糊匹配的东西,都值得加一个依赖。
为什么是现在火,而不是两年前
时机跟抓取本身无关,跟谁在抓有关。
仓库里带了一个智能体技能——在 Clawhub 上架,和库一起有文档——这样 AI 智能体可以把 Scrapling 当工具调,而不是每次要取页面就现写一个 requests 加 BeautifulSoup 的一次性脚本。[ai] 附加包里还有一个 MCP 服务器。
这跟「一个人 import 的库」是两个品类。智能体自己写爬虫,产出的代码往往只能用一次:没有重试,不处理指纹,碰到 Cloudflare 页面不知道怎么办。给它一个已经处理好这些的工具,比赌它生成的脚本靠谱要便宜。
所以这个星数里有一部分是押在一个工作流上:不是「我要写个爬虫」,而是「我的智能体需要读一个页面,我希望那只是一次调用」。
十分钟评估
别拿一个好说话的页面评它。挑那个搞坏你上一个爬虫的站——列表是懒加载的,三次请求之后会跳出人机校验。
先用 Fetcher 抓一次,看拿到的是真 HTML 还是一个空壳。再用 StealthyFetcher 抓,看浏览器起来并清掉校验要多久。这个数字就是你的单页预算;超过一两秒,你的爬取架构就得改。
然后故意把选择器弄坏。在存下来的页面副本里改掉一个类名,重跑解析。如果自适应追踪能把元素找回来,你就找到了这一年里最省时间的功能。如果返回空,你就知道边界在哪。
最后,让它去碰一个返回 404 的页面和一个会超时的页面。错误处理这个地方,通常能看出一个库有没有人在生产里跑过。
它和浏览器框架怎么分工
Scrapling 没打算取代 Playwright,这个对比值得说清楚。Playwright 是浏览器自动化库:它驱动浏览器,把浏览器能做的事都暴露出来,包括点击、输入、等网络条件、截图。测 UI 就该用它。
Scrapling 是一个抓取库,页面需要浏览器的时候它会用浏览器。它的 API 是围绕取数据建的,不是围绕复现用户行为。如果你的活是「从四万个商品页里读这张表」,这个区别就是全部意义;如果你的活是「登录、加购、核对回执」,你要的是自动化工具。
重叠是真的,多数团队最后两个都用:必须脚本化的流程用 Playwright,必须读的页面用 Scrapling。
需要注意什么
解 Cloudflare 挑战是一项正当的技术能力,也是一件在法律上灰的能力,取决于你在哪、在收什么。库不会告诉你这些。服务条款、robots.txt、速率限制、个人数据规则,不管你的客户端渲不渲染 JavaScript,都还照样适用。
大规模浏览器自动化也很重。每个 stealthy session 都是一个真浏览器。用 StealthyFetcher 跑一万个页面,那是一张算力账单,不是一个脚本。先用普通的 Fetcher,只对确实需要的页面升级。
还有,README 里的自信是一种性格,不是一种保证。项目把自己和替代方案比得很有利;那些对比是作者的,跑在作者的基准上。把它们当成测试的理由,不是当成结论。
结论
Scrapling 有意思的地方不是它在某个基准上赢了别的爬虫。而是一个主要工作就是「无聊」的库,靠对无聊那部分诚实,拿到了 99,000 颗星——指纹、浏览器安装、不再命中的选择器、必须先解掉校验才肯跟你说话的页面。
大部分网页还是用 div 和祈祷撑起来的。尊重这一点的工具,值得留着。
相关文章
一份社区维护的点击表,关掉了国产 Android 系统里的广告
它不动系统,不解锁,不刷机,只把厂商本来就留出来的开关一个个拨过去。代价是这份名单得一直有人续写。
GPT Image 2.6 守住 token 价格,账单却涨了
GPT Image 2.6 沿用了 2.5 的全部 token 费率,单张图却更贵,因为更多的活现在花在输出 token 上。上线十一天,定价结构说的比排行榜更多。
有人从外部重建了 IDM,并写下了自己没有碰过的部分
Mister Download Manager 用 Rust 重写了 Internet Download Manager 的下载流程,声称速度快 5 倍、支持 86 种语言。更值得细读的,是它解释如何在不复制任何代码的前提下完成重写的那一段。
Rune 是一个 Rust UI 框架,设计初衷是让 agent 能检查自己的工作
Rune 能无头渲染、导出元素树并接受脚本化输入,这让编码 agent 拿到截图永远给不了的东西,一个可 diff 的信号。这个框架仍是预发布版本,不接受 pull request。