Scrapling 拿到 9.9 萬顆星,靠的是把無聊的事做對

Scrapling 到這週為止在 GitHub 上有 99,627 顆星。對一個網頁抓取函式庫來說,這是個奇怪的數字;這個類別裡,誠實的工作都不光鮮,而熱門專案往往不是被放生,就是每十八個月重寫一次。
它的 README 開頭兩行就下了很大的斷言——「史上最好的網頁抓取框架,從單一請求到全規模爬取都能處理」——然後,不太尋常地,用整份文件的具體內容去兌現它。少做一步就會壞掉的安裝指令。四行 Python 解掉 Cloudflare 挑戰。還有一條註記說,只裝解析器的版本一旦匯入 fetcher 就會拋出 ModuleNotFoundError,而這正是 README 通常會藏起來的東西。
最後那個細節,是我相信它其餘部分的原因。
安裝流程本身就是教學
你需要 Python 3.10 或更新版本。然後:
pip install scrapling
這樣只會裝到解析引擎,其他什麼都沒有。沒有 fetcher、沒有 CLI、沒有瀏覽器。如果你試著從 scrapling.fetchers 匯入,會失敗——而 README 在警告框裡直接說了,不是讓你自己去發現。
要真的抓頁面:
pip install "scrapling[fetchers]"
scrapling install
第二個指令會下載瀏覽器、它們的系統依賴,以及指紋操作層。需要更多功能還有其他 extras:[ai] 給 MCP 伺服器,[rag] 給 RAG 輔助工具,[shell] 給互動式抓取 shell 和 extract 指令,[all] 全包。也有 Docker 映像,那大概是最多人最後會在生產環境用的東西。
這個結構告訴你它是給誰用的。只想解析一個 HTML 檔的資料分析師,不用多付任何東西。要跑大規模爬取的人,付一次瀏覽器下載的成本。
以前要四十行,現在四行
基本模式是開一個帶著瀏覽器指紋的 session:
with FetcherSession(impersonate='chrome') as session:
page = session.get(url, stealthy_headers=True)
quotes = page.css('.quote .text::text').getall()
那個 impersonate 參數在做真正的事。它讓請求在 TLS 層看起來像當前版本的 Chrome,而不是只改 user-agent 字串。任何看過爬蟲莫名其妙被封的人都清楚,破綻通常在握手,不在標頭。
當頁面需要 JavaScript 時,同一組選擇器可以對著真實瀏覽器運作:
with StealthySession(headless=True, solve_cloudflare=True) as session:
page = session.fetch(target, google_search=False)
而 Scrapling 在整套流程裡維持同一個 API。page.css()、page.xpath()、文字搜尋、正規表達式搜尋——不管頁面是來自原始 HTTP 請求,還是一個剛清掉中繼頁的無頭 Chromium,呼叫方式都一樣。這份一致性就是大部分的價值。多數抓取堆疊會逼你為每個解析器寫兩個版本,然後兩個都要維護。

真正撐起那些星星的功能
網頁抓取三不五時就壞,而且幾乎從來不會大聲壞。網站改了 class 名稱,你的選擇器回傳空清單,你的管線繼續跑,繼續把 null 寫進資料庫,直到一週後有人發現。
Scrapling 的答案是自適應元素追蹤:它會儲存一個已匹配元素的足夠資訊,讓它在頁面結構改變後仍能重新定位,靠的是相似度,而不是精確的選擇器。另外還有一個「尋找相似元素」的呼叫,會自動找出已匹配元素的兄弟節點——當列表頁多了一個徽章,或把項目包進新的 div 時很有用。
這不是魔法,也救不了你免於一次全面改版。但它處理的失敗模式——一個悄悄停止匹配的選擇器——是這行工作裡最貴的一種。任何能把無聲失敗變成模糊匹配的東西,都值得一個依賴。
為什麼是現在紅,而不是兩年前
時機跟抓取本身無關。跟誰在做抓取有關。
這個儲存庫附了一個智慧體技能——列在 Clawhub 上,跟函式庫一起寫在文件裡——所以 AI 智慧體可以把 Scrapling 當工具呼叫,而不是每次需要一個頁面時就生成一段一次性的 requests 加 BeautifulSoup 腳本。[ai] extra 後面還有一個 MCP 伺服器。
那是跟「人類匯入的函式庫」不同的產品類別。當智慧體自己寫爬蟲,它產出的程式碼往往只能跑一次:沒有重試邏輯、沒有指紋處理、不知道遇到 Cloudflare 頁面該怎麼辦。交給它一個已經處理好這些的工具,比祈禱生成的腳本品質好要便宜。
所以星星數有一部分是對一種工作流程下的注:不是「我要寫一個爬蟲」,而是「我的智慧體會需要讀一個頁面,而我希望那是一次呼叫」。
十分鐘評估
不要用一個友善的頁面來判斷它。挑那個弄壞你上一支爬蟲的網站——有延遲載入的列表,還有一個在第三次請求後才出現的機器人檢查。
用 Fetcher 抓一次,注意你拿到的是真正的 HTML 還是一個空殼。然後用 StealthyFetcher 抓,看瀏覽器啟動並清掉挑戰要多久。那個數字就是你的單頁預算;超過一兩秒,就會改變你架構爬取的方式。
然後刻意弄壞選擇器。在存下來的頁面副本裡改一個 class 名稱,重新跑解析。如果自適應追蹤能重新定位那個元素,你就找到了一年裡最能省時間的功能。如果它回傳空的,你就知道極限在哪。
最後,把它指向一個回 404 的頁面和一個會逾時的頁面。錯誤處理通常是函式庫洩漏「有沒有人真的在生產環境跑過它」的地方。
它跟瀏覽器框架怎麼分工
Scrapling 不是要取代 Playwright,這個比較值得講清楚。Playwright 是瀏覽器自動化函式庫:它驅動一個瀏覽器,把瀏覽器能做的事全部暴露出來,包括點擊、輸入、等待網路狀態、截圖。要測 UI,它是對的工具。
Scrapling 是一個抓取函式庫,在頁面需要瀏覽器時才用瀏覽器。它的 API 是圍繞著抽取資料建的,不是圍繞著重現使用者行為。如果你的工作是「從四萬個產品頁讀出這張表」,這個差別就是重點;如果你的工作是「登入、加入購物車、驗證收據」,你要的是自動化工具。
重疊是真的,多數團隊最後兩者都會有:Playwright 給必須被腳本化的流程,Scrapling 給必須被讀取的頁面。
要注意的地方
解 Cloudflare 挑戰是一項合法的技術能力,也是法律上的灰色地帶,取決於你在哪裡、收集什麼。函式庫不會告訴你這件事。服務條款、robots.txt、速率限制和個人資料規範,不會因為你的客戶端會渲染 JavaScript 就不適用。
大規模瀏覽器自動化也很重。每個 stealthy session 都是一個真的瀏覽器。一萬個頁面走 StealthyFetcher,那是一筆運算帳單,不是一支腳本。先從單純的 Fetcher 開始,只對真的需要的頁面升級。
而 README 的自信是一種個性,不是保證。專案把自己跟替代方案比得很有利;那些比較是作者做的,跑在作者的基準上。把它們當成「值得測一下」的理由,而不是結果。
結論
Scrapling 有趣的地方,不是它在某個基準上贏過其他爬蟲。而是一個主要工作就是「無聊」的函式庫,靠著對無聊的部分誠實,拿到了九萬九千顆星——指紋、瀏覽器安裝、會停止匹配的選擇器、那個要先解掉挑戰才肯跟你說話的頁面。
大部分的網路還是用 div 和希望撐著。尊重這件事的工具,值得留著。
相關文章
一份社群維護的點擊表,關掉了中國品牌 Android 系統裡的廣告
它不動系統,不解鎖,不刷機,只把廠商本來就留出來的開關一個個撥過去。代價是這份名單得一直有人續寫。
GPT Image 2.6 守住 token 價格,帳單卻變貴了
GPT Image 2.6 沿用 2.5 的全部 token 費率,每張圖卻更貴,因為更多工作現在花在輸出 token 上。上線十一天,定價結構說得比排行榜更多。
有人從外部重寫了 IDM,並寫下自己沒碰過的部分
Mister Download Manager 用 Rust 重寫了 Internet Download Manager 的下載流程,聲稱速度快 5 倍、支援 86 種語言。更值得細讀的,是它解釋如何在不複製任何程式碼的前提下完成重寫的那一段。
Rune 是一個 Rust UI 框架,設計初衷是讓 agent 能檢查自己的工作
Rune 能無頭繪製、匯出元素樹並接受腳本化輸入,這讓編碼 agent 拿到截圖永遠給不了的東西,一個可 diff 的訊號。這個框架仍是預先發布版,不接受 pull request。