← ブログに戻る
Ai読了目安 10 分

Scrapling は 5,000 要素を 1.99 ミリ秒で解析する。売りにくいのは Cloudflare の部分だ

公開日 2026年11月8日
Scrapling は 5,000 要素を 1.99 ミリ秒で解析する。売りにくいのは Cloudflare の部分だ

D4Vinci/Scrapling は 7 日間で約 8,700 の star を集め、合計 99,671 で GitHub の週間チャートに入った。Python のスクレイピングフレームワークで、この分野はすでに混み合っている。小さいことを売りにしているわけでもない。README の最初の行が謳うのは、高速な HTTP リクエスト、ステルスブラウザ、パース、並行クロールを 1 つのライブラリにまとめたという点で、これは普通なら糊でつなぐ 4 つのライブラリの説明でもある。

引用されるのはベンチマークの数字だ。5,000 個の入れ子要素からのテキスト抽出で、Scrapling が 1.99 ms、Parsel/Scrapy が 2.06、素の lxml が 2.56、PyQuery が 23.98、Selectolax が 197.02、MechanicalSoup が 1,545.15、lxml を使う BeautifulSoup が 1,562.1、html5lib を使う BeautifulSoup が 3,412.73。README によれば 100 回実行の平均だ。

この表を 2 回読むと、見た目より狭いことしか書いていないと分かる。上位 3 つは互いに 30% 以内に収まり、いずれも lxml を土台にしたパーサで、包みが違うだけだ。BeautifulSoup に対する 780x の差は本物で、10 年前から本物だった。Scrapling は lxml と誤差の範囲に収まりながら、パース以外の仕事もはるかに多くこなす。素直に良い結果であり、主張としては別物だ。

インストールは 2 段階で、1 段目が罠になっている

pip install scrapling

これで入るのはパースエンジンとその依存だけで、ほかは何も入らない。`scrapling.fetchers` や `scrapling.spiders` から import すると `ModuleNotFoundError` になる。fetcher は extra として配布されているからだ。

pip install "scrapling[fetchers]"
scrapling install

2 つ目のコマンドがブラウザとシステム依存をダウンロードする。飛ばすとステルス fetcher は動かす対象を持たない。ほかの extra は、`scrapling[ai]` が MCP サーバー、`scrapling[rag]` が検索向けの markdown 出力、`scrapling[shell]` が対話シェルと `extract` コマンド、`scrapling[all]` が全部入り。Docker イメージは `pyd4vinci/scrapling` と GitHub のレジストリにある。

分割自体は筋が通っている。パーサがブラウザを引き込む理由はない。それでも、`pip install scrapling` で始まるチュートリアルは 2 行目で traceback を出す。README が最初の警告をそこに割いているのはそのためだ。

濃い灰色の背景に置かれた、留め金付きの蓋を開けたステンレス製の密閉容器。

2 つの fetcher、2 つの別の仕事

基本の呼び出しは誰もが書くものだ。

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/') quotes = page.css('.quote .text::text').getall() ```

`FetcherSession(impersonate='chrome')` はセッションを保持し、ブラウザの TLS フィンガープリントを模す。user agent ではなくハンドシェイクで判定するサイトでは、これが効く。HTTP/3 にも対応している。

もう一方の fetcher こそ、このプロジェクトが本当に売っているものだ。

from scrapling.fetchers import StealthyFetcher

page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare', solve_cloudflare=True) ```

`StealthySession` はヘッドレスブラウザを開いたままにし、Cloudflare Turnstile や interstitial のチェックを解ける。`record_requests=True` と `session.network.search()` を組み合わせれば、ページが裏で叩いている API 呼び出しを捕まえられる。最後のこれが仕事の進め方を変える。スクレイピングの多くは HTML を読む作業ではなく、ページが呼んでいる JSON エンドポイントを見つけて直接叩く作業だ。そのリクエストを表に出すツールは、dev tools で潰す午後を 1 つ節約する。

ほかに、プロキシを回す `ProxyRotator`、Cloudflare 経由の DoH による DNS 漏洩対策、約 3,500 の既知の広告・トラッカードメインのブロック、リモートブラウザにつなぐ `cdp_url` オプションがある。

Spider API はわざと Scrapy の形をしている

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider): name = "quotes" start_urls = ["https://quotes.toscrape.com/"] concurrent_requests = 10

async def parse(self, response: Response): for quote in response.css('.quote'): yield {"text": quote.css('.text::text').get(), "author": quote.css('.author::text').get()} nxt = response.css('.next a') if nxt: yield response.follow(nxt[0].attrib['href'])

result = QuotesSpider().start() result.items.to_json("quotes.json") ```

`start_urls`、async の `parse`、yield する dict、`Request` と `Response` オブジェクト。Scrapy の spider を書いた人なら、ドキュメントを開かずに読める。フレームワーク側はドメイン単位のスロットリング(AutoThrottle)、`robots_txt_obey`、`LinkExtractor`、リトライ付きのブロック検知、そしてレスポンスをディスクにキャッシュしてサイトを再度叩かずにクロールを再生できる開発モードを足している。

実務でいちばん時間を節約するのは `crawldir` だ。ディレクトリを渡しておけば、Ctrl+C で未処理のリクエストと既出 URL が永続化される。同じディレクトリで再起動すればクロールが再開する。長時間のクロールは失敗する。失敗しない前提のフレームワークは、横で見張る必要があるフレームワークだ。

よくある形のテンプレートが同梱されている。`CrawlSpider`、`SitemapSpider`、XML と CSV のフィード spider、そして `ShopifySpider`。最後はストアの公開 collection エンドポイントを読み、variant ごとに 1 件の item を出す。エクスポートも内蔵で、`to_json`、`to_jsonl`、`to_csv`、`to_xml` が使える。

selector オブジェクトは過小評価されている

パース結果はノードのリストではなく `Selector` オブジェクトとして返る。CSS、XPath、`find_all`、`find_by_text`、正規表現検索に対応し、`.next`、`.parent`、`.below_elements`、`find_similar()` といった移動もできる。サイトの改修後にターゲットを再特定する要素追跡機能もある。長く動かすスクレイパーを殺すのは、まさにその保守の問題だ。毎回うまくいくわけではないが、うまくいけば書き直しが 1 回減る。

パーサは単体でも動く。`Selector("...")` はネットワークを叩かない。抽出ロジックのユニットテストはこれで書く。

MCP サーバー、そしてスクレイピングライブラリが今それを同梱する理由

`scrapling[ai]` を入れると MCP サーバーが加わり、agent が fetcher を直接呼べる。スクリーンショット、ログイン済みセッション、捕まえたバックグラウンド API も含む。README は prompt injection 対策に触れている。ここは気にすべき点だ。ページのテキストをモデルに渡すスクレイパーは、ページが読ませたいものをモデルに読ませる経路になる。

このパッケージングの判断は、メンテナがユーザーをどこに見ているかを示している。1 年前、スクレイピングライブラリはデータエンジニアがスクリプトの中で使うものだった。今は agent が作業の途中で拾い上げる道具でもあり、agent が必要とするインターフェースはスキーマ付きの tool call だ。

README で実際に仕事をしている一行

終わり近くに埋もれている。"This library is provided for educational and research purposes only." に加えて、利用規約と robots.txt を守るよう求める一文がある。

定型的な免責で、法的な効力はほとんどない。ただ、実際の状況は正確に言い当てている。ボットチェックを抜ける技術的な能力と、それをしてよいという法的な許可は無関係で、後者は悪化している。以前はスクレイピングを黙認していたサイトが、今は提訴し、エッジで遮断し、あるいはアクセスを有償化している。回避を自明にするフレームワークは、判断を「できるか」から「すべきか」へ移し、その判断をスクリプトを動かす人の上に置く。

ベンチマーク表が star を集め、インストールの罠が issue を集める。このリポジトリが 2 年後も役に立つかを決めるのは、メンテナがステルス層を最新に保てるかどうかだ。そこは treadmill で、パースはそうではない。

関連記事