← 返回部落格
Ai預計閱讀 6 分鐘

Scrapling 解析 5,000 個元素只要 1.99 毫秒,難賣的是 Cloudflare 那一段

發布於 2026年11月8日
Scrapling 解析 5,000 個元素只要 1.99 毫秒,難賣的是 Cloudflare 那一段

D4Vinci/Scrapling 一週內漲了約 8,700 star,總數到 99,671,衝上 GitHub 週榜。這是個 Python 爬蟲框架,賽道很擠,它也沒打算靠體積取勝。README 第一行的賣點是把快速 HTTP 請求、隱身瀏覽器、解析與並行爬取放進同一個套件,這句話描述的是平常得靠膠水黏起來的四個套件。

大家引用的是那張 benchmark。5,000 個巢狀元素上的文字抽取:Scrapling 1.99 ms,Parsel/Scrapy 2.06,裸 lxml 2.56,PyQuery 23.98,Selectolax 197.02,MechanicalSoup 1,545.15,BeautifulSoup 配 lxml 1,562.1,BeautifulSoup 配 html5lib 3,412.73。README 說這是一百次執行的平均值。

這張表讀兩遍,能看出的東西比表面上窄。前三名彼此相差不到 30%,而且都是 lxml 核心,只是外面包了不同的殼。相對 BeautifulSoup 的 780x 差距是真的,而且已經真了十年。Scrapling 落在 lxml 的雜訊範圍內,同時做的遠不只解析,這是個很不錯的結果,也是另一種主張。

安裝分兩步,第一步是個坑

pip install scrapling

這條指令裝的是解析引擎和它的相依套件,沒別的。從 `scrapling.fetchers` 或 `scrapling.spiders` import 會直接拿到 `ModuleNotFoundError`,因為 fetcher 走 extra 散佈:

pip install "scrapling[fetchers]"
scrapling install

第二條指令下載瀏覽器和系統相依套件。跳過它,隱身 fetcher 就沒有可驅動的東西。其他 extra:`scrapling[ai]` 裝 MCP server,`scrapling[rag]` 裝面向檢索的 markdown 輸出,`scrapling[shell]` 裝互動式 shell 和 `extract` 指令,`scrapling[all]` 全都要。Docker 映像檔在 `pyd4vinci/scrapling` 和 GitHub registry 上都有。

這樣拆站得住。解析器沒理由把瀏覽器拖進來。代價是每個以 `pip install scrapling` 開頭的教學都會在第二行報錯,README 的第一條警告正好花在這上面。

深灰背景上一只打開蓋子、帶扣環的不鏽鋼密封罐。

兩個 fetcher,兩件不同的事

最基礎的呼叫,所有人都會寫:

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/') quotes = page.css('.quote .text::text').getall() ```

`FetcherSession(impersonate='chrome')` 保持一個工作階段,並模仿瀏覽器的 TLS 指紋。對那種辨識握手指紋、不看 user agent 的網站,這點很要緊。它還支援 HTTP/3。

另一個 fetcher 才是這個專案真正在賣的東西:

from scrapling.fetchers import StealthyFetcher

page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare', solve_cloudflare=True) ```

`StealthySession` 保持一個無頭瀏覽器開著,能處理 Cloudflare Turnstile 和 interstitial 檢查,還能用 `record_requests=True` 配合 `session.network.search()` 把頁面發出的背景 API 呼叫撈出來。最後這條會改變工作流程。很多爬取工作根本不在讀 HTML,而在找頁面呼叫的那個 JSON 端點,然後直接呼叫它。能把那些請求攤開的工具,省下的是在 dev tools 裡泡掉的半天。

還有 `ProxyRotator` 用來輪換代理,透過 Cloudflare 做的 DoH DNS 洩漏保護,對大約 3,500 個已知廣告與追蹤網域的攔截,以及 `cdp_url` 掛到遠端瀏覽器上。

Spider API 是故意做成 Scrapy 形狀的

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider): name = "quotes" start_urls = ["https://quotes.toscrape.com/"] concurrent_requests = 10

async def parse(self, response: Response): for quote in response.css('.quote'): yield {"text": quote.css('.text::text').get(), "author": quote.css('.author::text').get()} nxt = response.css('.next a') if nxt: yield response.follow(nxt[0].attrib['href'])

result = QuotesSpider().start() result.items.to_json("quotes.json") ```

`start_urls`、async 的 `parse`、yield 出來的 dict、`Request` 和 `Response` 物件:寫過 Scrapy spider 的人不用翻文件就能讀。框架另外給了按網域節流的 AutoThrottle、`robots_txt_obey`、`LinkExtractor`、帶重試的攔截偵測,還有一個把回應快取到磁碟的開發模式,重播一次爬取不用再打網站。

`crawldir` 是實務上最省時間的功能。傳一個目錄進去,Ctrl+C 會把未完成的請求和已見 URL 存下來,用同一個目錄重啟,爬取接著跑。長時間爬取會失敗,假設它不會失敗的框架,是要你守在旁邊的框架。

常見形狀都有範本:`CrawlSpider`、`SitemapSpider`、XML 和 CSV feed spider,以及 `ShopifySpider`,它讀商店公開的 collection 端點,每個 variant 出一條 item。匯出是內建的:`to_json`、`to_jsonl`、`to_csv`、`to_xml`。

selector 物件被低估了

解析後的頁面以 `Selector` 物件回傳,取代了節點清單。它支援 CSS、XPath、`find_all`、`find_by_text`、正規表示式搜尋,也支援導覽:`.next`、`.parent`、`.below_elements`、`find_similar()`。還有一個元素追蹤功能,網站改版後能重新定位目標,那正是拖垮長期爬蟲的維護問題。它不會每次都成,成了就省掉一次重寫。

解析器也能單獨跑:`Selector("...")`,不發網路請求,單元測試抽取邏輯靠的就是它。

MCP server,以及一個爬蟲套件為什麼現在要帶一個

`scrapling[ai]` 加一個 MCP server,agent 可以直接呼叫 fetcher,包括截圖、已登入的工作階段和捕獲到的背景 API。README 提到 prompt injection 防護,這確實是該擔心的地方:一個把頁面文字遞給模型的爬蟲,就是一條通道,頁面想讓模型讀到什麼,模型就讀到什麼。

這個打包選擇說明了維護者認為使用者在哪。一年前,爬蟲套件是資料工程師寫在腳本裡的東西。現在它也是 agent 在任務途中順手拿起來的工具,而 agent 要的介面,是帶 schema 的一次 tool call。

README 裡真正幹活的那一行

埋在接近末尾的位置:"This library is provided for educational and research purposes only." 後面還有一句,請遵守服務條款和 robots.txt。

這是標準免責聲明,法律上不太管用。它倒是把實際處境說準了。通過機器人偵測的技術能力,和取得這樣做的法律許可,是兩件不相干的事,而後者正在變糟。從前容忍爬取的網站,現在在提告、在邊緣攔截、或者在賣存取許可。一個讓繞過變得輕而易舉的框架,把決定從「我能不能」挪到「我該不該」,然後把這個決定交到跑腳本的人手上。

benchmark 表會帶來 star,安裝的坑會帶來 issue。決定這個儲存庫兩年後還有沒有用的,是維護者能不能讓隱身層保持最新,因為那是一條停不下來的跑步機,解析不是。

相關文章