← 返回博客
Ai预计阅读 9 分钟

Scrapling 拿到 99,627 颗星,靠的是无聊那部分

发布于 2026年11月9日
Scrapling 拿到 99,627 颗星,靠的是无聊那部分

截至这周,Scrapling 在 GitHub 上有 99,627 颗星。对一个网页抓取库来说这个数字有点怪:这个品类里实在的活都不体面,流行项目要么被弃养,要么每十八个月重写一遍。

它的 README 头两行就放了个大话——「最好的网页抓取框架,从单个请求到全量爬取都能处理」——然后少见地花掉剩下整篇文档,用具体细节把这个话挣回来。安装命令少一步就会坏。四行 Python 解掉一个 Cloudflare 挑战。还有一句提醒:只装解析器的版本,你一 import fetcher 就会报 ModuleNotFoundError,这正好是 README 通常会藏起来的那类东西。

最后这个细节,是我信其余部分的原因。

安装过程就是教程

需要 Python 3.10 或更高。然后:

pip install scrapling

这只会给你解析引擎,别的没有。没有 fetcher,没有 CLI,没有浏览器。你想从 scrapling.fetchers 里 import,会失败——README 用警告框告诉了你,而不是让你自己去发现。

要真的抓页面:

pip install "scrapling[fetchers]"
scrapling install

第二条命令会下载浏览器、它们的系统依赖,还有指纹处理层。需要的话还有别的附加包:[ai] 是 MCP 服务器,[rag] 是 RAG 辅助,[shell] 是交互式抓取 shell 和 extract 命令,[all] 是全部。也有 Docker 镜像,多数人最后在生产里用的就是这个。

这个结构本身就说明了它是给谁的。只想解析一个 HTML 文件的数据分析师,不用多付任何代价。跑爬取的人,把浏览器下载一次。

过去要四十行,现在四行

基本形态是一个带浏览器指纹的 session:

with FetcherSession(impersonate='chrome') as session:
    page = session.get(url, stealthy_headers=True)
    quotes = page.css('.quote .text::text').getall()

impersonate 这个参数在干真活。它让请求在 TLS 层面看起来像当前版本的 Chrome,而不只是改个 user-agent 字符串。看过爬虫莫名其妙被封的人都知道,露馅的通常是握手,不是请求头。

页面需要 JavaScript 时,同一套选择器可以对着真浏览器用:

with StealthySession(headless=True, solve_cloudflare=True) as session:
    page = session.fetch(target, google_search=False)

而 Scrapling 在这一整套里只保留一套 API。page.css()、page.xpath()、文本搜索、正则搜索——不管页面来自一次裸 HTTP 请求,还是来自刚清掉一个拦截页的无头 Chromium,调用都一样。这种一致性就是价值的大头。多数抓取技术栈逼你给每个解析器写两个版本,然后两个都维护。

A mechanical keyboard in a dark room, teal and amber reflections on the keycaps

真正撑起这些星的功能

网页抓取一直在坏,而且几乎从来不响。站点改了个类名,你的选择器返回空列表,你的流水线照跑,往数据库里写空值,直到一周后有人发现。

Scrapling 的答案是自适应元素追踪:它会存下命中元素的足够信息,页面结构变化后还能重新定位,靠的是相似度而不是精确选择器。还有一个「找相似元素」的调用,能自动定位命中元素的兄弟节点——列表页加了个角标,或者把条目包进新的 div 时,这很有用。

这不是魔法,也救不了整站改版。但它针对的那种失败——选择器悄悄不再命中——是这行里最贵的一种。任何能把静默失败变成模糊匹配的东西,都值得加一个依赖。

为什么是现在火,而不是两年前

时机跟抓取本身无关,跟谁在抓有关。

仓库里带了一个智能体技能——在 Clawhub 上架,和库一起有文档——这样 AI 智能体可以把 Scrapling 当工具调,而不是每次要取页面就现写一个 requests 加 BeautifulSoup 的一次性脚本。[ai] 附加包里还有一个 MCP 服务器。

这跟「一个人 import 的库」是两个品类。智能体自己写爬虫,产出的代码往往只能用一次:没有重试,不处理指纹,碰到 Cloudflare 页面不知道怎么办。给它一个已经处理好这些的工具,比赌它生成的脚本靠谱要便宜。

所以这个星数里有一部分是押在一个工作流上:不是「我要写个爬虫」,而是「我的智能体需要读一个页面,我希望那只是一次调用」。

十分钟评估

别拿一个好说话的页面评它。挑那个搞坏你上一个爬虫的站——列表是懒加载的,三次请求之后会跳出人机校验。

先用 Fetcher 抓一次,看拿到的是真 HTML 还是一个空壳。再用 StealthyFetcher 抓,看浏览器起来并清掉校验要多久。这个数字就是你的单页预算;超过一两秒,你的爬取架构就得改。

然后故意把选择器弄坏。在存下来的页面副本里改掉一个类名,重跑解析。如果自适应追踪能把元素找回来,你就找到了这一年里最省时间的功能。如果返回空,你就知道边界在哪。

最后,让它去碰一个返回 404 的页面和一个会超时的页面。错误处理这个地方,通常能看出一个库有没有人在生产里跑过。

它和浏览器框架怎么分工

Scrapling 没打算取代 Playwright,这个对比值得说清楚。Playwright 是浏览器自动化库:它驱动浏览器,把浏览器能做的事都暴露出来,包括点击、输入、等网络条件、截图。测 UI 就该用它。

Scrapling 是一个抓取库,页面需要浏览器的时候它会用浏览器。它的 API 是围绕取数据建的,不是围绕复现用户行为。如果你的活是「从四万个商品页里读这张表」,这个区别就是全部意义;如果你的活是「登录、加购、核对回执」,你要的是自动化工具。

重叠是真的,多数团队最后两个都用:必须脚本化的流程用 Playwright,必须读的页面用 Scrapling。

需要注意什么

解 Cloudflare 挑战是一项正当的技术能力,也是一件在法律上灰的能力,取决于你在哪、在收什么。库不会告诉你这些。服务条款、robots.txt、速率限制、个人数据规则,不管你的客户端渲不渲染 JavaScript,都还照样适用。

大规模浏览器自动化也很重。每个 stealthy session 都是一个真浏览器。用 StealthyFetcher 跑一万个页面,那是一张算力账单,不是一个脚本。先用普通的 Fetcher,只对确实需要的页面升级。

还有,README 里的自信是一种性格,不是一种保证。项目把自己和替代方案比得很有利;那些对比是作者的,跑在作者的基准上。把它们当成测试的理由,不是当成结论。

结论

Scrapling 有意思的地方不是它在某个基准上赢了别的爬虫。而是一个主要工作就是「无聊」的库,靠对无聊那部分诚实,拿到了 99,000 颗星——指纹、浏览器安装、不再命中的选择器、必须先解掉校验才肯跟你说话的页面。

大部分网页还是用 div 和祈祷撑起来的。尊重这一点的工具,值得留着。

相关文章