← 返回部落格
Ai預計閱讀 10 分鐘

Scrapling 拿到 9.9 萬顆星,靠的是把無聊的事做對

發布於 2026年11月9日
Scrapling 拿到 9.9 萬顆星,靠的是把無聊的事做對

Scrapling 到這週為止在 GitHub 上有 99,627 顆星。對一個網頁抓取函式庫來說,這是個奇怪的數字;這個類別裡,誠實的工作都不光鮮,而熱門專案往往不是被放生,就是每十八個月重寫一次。

它的 README 開頭兩行就下了很大的斷言——「史上最好的網頁抓取框架,從單一請求到全規模爬取都能處理」——然後,不太尋常地,用整份文件的具體內容去兌現它。少做一步就會壞掉的安裝指令。四行 Python 解掉 Cloudflare 挑戰。還有一條註記說,只裝解析器的版本一旦匯入 fetcher 就會拋出 ModuleNotFoundError,而這正是 README 通常會藏起來的東西。

最後那個細節,是我相信它其餘部分的原因。

安裝流程本身就是教學

你需要 Python 3.10 或更新版本。然後:

pip install scrapling

這樣只會裝到解析引擎,其他什麼都沒有。沒有 fetcher、沒有 CLI、沒有瀏覽器。如果你試著從 scrapling.fetchers 匯入,會失敗——而 README 在警告框裡直接說了,不是讓你自己去發現。

要真的抓頁面:

pip install "scrapling[fetchers]"
scrapling install

第二個指令會下載瀏覽器、它們的系統依賴,以及指紋操作層。需要更多功能還有其他 extras:[ai] 給 MCP 伺服器,[rag] 給 RAG 輔助工具,[shell] 給互動式抓取 shell 和 extract 指令,[all] 全包。也有 Docker 映像,那大概是最多人最後會在生產環境用的東西。

這個結構告訴你它是給誰用的。只想解析一個 HTML 檔的資料分析師,不用多付任何東西。要跑大規模爬取的人,付一次瀏覽器下載的成本。

以前要四十行,現在四行

基本模式是開一個帶著瀏覽器指紋的 session:

with FetcherSession(impersonate='chrome') as session:
    page = session.get(url, stealthy_headers=True)
    quotes = page.css('.quote .text::text').getall()

那個 impersonate 參數在做真正的事。它讓請求在 TLS 層看起來像當前版本的 Chrome,而不是只改 user-agent 字串。任何看過爬蟲莫名其妙被封的人都清楚,破綻通常在握手,不在標頭。

當頁面需要 JavaScript 時,同一組選擇器可以對著真實瀏覽器運作:

with StealthySession(headless=True, solve_cloudflare=True) as session:
    page = session.fetch(target, google_search=False)

而 Scrapling 在整套流程裡維持同一個 API。page.css()、page.xpath()、文字搜尋、正規表達式搜尋——不管頁面是來自原始 HTTP 請求,還是一個剛清掉中繼頁的無頭 Chromium,呼叫方式都一樣。這份一致性就是大部分的價值。多數抓取堆疊會逼你為每個解析器寫兩個版本,然後兩個都要維護。

A mechanical keyboard in a dark room, teal and amber reflections on the keycaps

真正撐起那些星星的功能

網頁抓取三不五時就壞,而且幾乎從來不會大聲壞。網站改了 class 名稱,你的選擇器回傳空清單,你的管線繼續跑,繼續把 null 寫進資料庫,直到一週後有人發現。

Scrapling 的答案是自適應元素追蹤:它會儲存一個已匹配元素的足夠資訊,讓它在頁面結構改變後仍能重新定位,靠的是相似度,而不是精確的選擇器。另外還有一個「尋找相似元素」的呼叫,會自動找出已匹配元素的兄弟節點——當列表頁多了一個徽章,或把項目包進新的 div 時很有用。

這不是魔法,也救不了你免於一次全面改版。但它處理的失敗模式——一個悄悄停止匹配的選擇器——是這行工作裡最貴的一種。任何能把無聲失敗變成模糊匹配的東西,都值得一個依賴。

為什麼是現在紅,而不是兩年前

時機跟抓取本身無關。跟誰在做抓取有關。

這個儲存庫附了一個智慧體技能——列在 Clawhub 上,跟函式庫一起寫在文件裡——所以 AI 智慧體可以把 Scrapling 當工具呼叫,而不是每次需要一個頁面時就生成一段一次性的 requests 加 BeautifulSoup 腳本。[ai] extra 後面還有一個 MCP 伺服器。

那是跟「人類匯入的函式庫」不同的產品類別。當智慧體自己寫爬蟲,它產出的程式碼往往只能跑一次:沒有重試邏輯、沒有指紋處理、不知道遇到 Cloudflare 頁面該怎麼辦。交給它一個已經處理好這些的工具,比祈禱生成的腳本品質好要便宜。

所以星星數有一部分是對一種工作流程下的注:不是「我要寫一個爬蟲」,而是「我的智慧體會需要讀一個頁面,而我希望那是一次呼叫」。

十分鐘評估

不要用一個友善的頁面來判斷它。挑那個弄壞你上一支爬蟲的網站——有延遲載入的列表,還有一個在第三次請求後才出現的機器人檢查。

用 Fetcher 抓一次,注意你拿到的是真正的 HTML 還是一個空殼。然後用 StealthyFetcher 抓,看瀏覽器啟動並清掉挑戰要多久。那個數字就是你的單頁預算;超過一兩秒,就會改變你架構爬取的方式。

然後刻意弄壞選擇器。在存下來的頁面副本裡改一個 class 名稱,重新跑解析。如果自適應追蹤能重新定位那個元素,你就找到了一年裡最能省時間的功能。如果它回傳空的,你就知道極限在哪。

最後,把它指向一個回 404 的頁面和一個會逾時的頁面。錯誤處理通常是函式庫洩漏「有沒有人真的在生產環境跑過它」的地方。

它跟瀏覽器框架怎麼分工

Scrapling 不是要取代 Playwright,這個比較值得講清楚。Playwright 是瀏覽器自動化函式庫:它驅動一個瀏覽器,把瀏覽器能做的事全部暴露出來,包括點擊、輸入、等待網路狀態、截圖。要測 UI,它是對的工具。

Scrapling 是一個抓取函式庫,在頁面需要瀏覽器時才用瀏覽器。它的 API 是圍繞著抽取資料建的,不是圍繞著重現使用者行為。如果你的工作是「從四萬個產品頁讀出這張表」,這個差別就是重點;如果你的工作是「登入、加入購物車、驗證收據」,你要的是自動化工具。

重疊是真的,多數團隊最後兩者都會有:Playwright 給必須被腳本化的流程,Scrapling 給必須被讀取的頁面。

要注意的地方

解 Cloudflare 挑戰是一項合法的技術能力,也是法律上的灰色地帶,取決於你在哪裡、收集什麼。函式庫不會告訴你這件事。服務條款、robots.txt、速率限制和個人資料規範,不會因為你的客戶端會渲染 JavaScript 就不適用。

大規模瀏覽器自動化也很重。每個 stealthy session 都是一個真的瀏覽器。一萬個頁面走 StealthyFetcher,那是一筆運算帳單,不是一支腳本。先從單純的 Fetcher 開始,只對真的需要的頁面升級。

而 README 的自信是一種個性,不是保證。專案把自己跟替代方案比得很有利;那些比較是作者做的,跑在作者的基準上。把它們當成「值得測一下」的理由,而不是結果。

結論

Scrapling 有趣的地方,不是它在某個基準上贏過其他爬蟲。而是一個主要工作就是「無聊」的函式庫,靠著對無聊的部分誠實,拿到了九萬九千顆星——指紋、瀏覽器安裝、會停止匹配的選擇器、那個要先解掉挑戰才肯跟你說話的頁面。

大部分的網路還是用 div 和希望撐著。尊重這件事的工具,值得留著。

相關文章