Scraplingは「地味」で9万9000スターを獲った

Scraplingは今週時点でGitHubで99,627個のスターを持つ。Webスクレイピングのライブラリとしては奇妙な数字だ。この分野は地味な仕事が正直な仕事で、人気プロジェクトは18か月ごとに放棄されるか書き直されるかのどちらかになりがちである。
READMEは最初の2行で大きなことを言う。「単一のリクエストから本格的なクロールまで、すべてを扱うBESTのWebスクレイピングフレームワーク」。そして珍しいことに、残りの文書をその主張に値するものにするために、具体例で埋めている。手順を飛ばすと壊れるインストールコマンド。4行のPythonで解かれるCloudflareのチャレンジ。パーサだけを入れた状態でフェッチャーをインポートした瞬間にModuleNotFoundErrorが出るという注意。READMEがたいてい隠す類の情報だ。
最後の細部のおかげで、残りも信じられる。
インストールがチュートリアルになっている
Python 3.10以上が必要だ。そして、こうする。
pip install scrapling
これで入るのはパースエンジンだけで、他は何も入らない。フェッチャーもCLIもブラウザもない。scrapling.fetchersからインポートしようとすれば失敗する。READMEはそれを警告ボックスで先に教えてくれる。
実際にページを取得するには、こうする。
pip install "scrapling[fetchers]"
scrapling install
2つ目のコマンドはブラウザとそのシステム依存、フィンガープリント操作のレイヤーをダウンロードする。必要なら追加もある。[ai]はMCPサーバー、[rag]はRAGヘルパー、[shell]は対話型のスクレイピングシェルとextractコマンド、[all]は全部。Dockerイメージもあり、本番ではほとんどの人がこれに行き着く。
この構造が対象読者を語っている。HTMLファイルを1つパースしたいデータアナリストは余分なコストを払わない。クロールを回す人はブラウザのダウンロードを一度だけ払う。
以前なら40行だったものが4行
基本の型は、ブラウザのフィンガープリントを付けたセッションだ。
with FetcherSession(impersonate='chrome') as session:
page = session.get(url, stealthy_headers=True)
quotes = page.css('.quote .text::text').getall()
このimpersonate引数は実際に仕事をしている。リクエストをユーザーエージェント文字列だけでなく、TLSレベルで現行のChromeに見せる。理由もなくスクレイパーがブロックされるのを見た人なら分かる通り、ばれるのはたいていヘッダーではなくハンドシェイクだ。
ページにJavaScriptが必要なときも、同じセレクタが実ブラウザに対して動く。
with StealthySession(headless=True, solve_cloudflare=True) as session:
page = session.fetch(target, google_search=False)
そしてScraplingはその全体で1つのAPIを保つ。page.css()、page.xpath()、テキスト検索、正規表現検索。生のHTTPリクエストから来たページでも、インタースティシャルを抜けたばかりのヘッドレスChromiumから来たページでも、呼び出しは同じだ。この一貫性が価値の大半だ。多くのスクレイピングスタックはパーサを2種類書かせ、両方を保守させる。

スターに値する理由になる機能
スクレイピングは絶えず壊れ、しかもほとんど音を立てずに壊れる。サイトがクラス名を変え、セレクタが空のリストを返し、パイプラインは動き続けてデータベースにnullを書き込み、誰かが1週間後に気づく。
Scraplingの答えは適応的な要素追跡だ。一致した要素について十分な情報を保存し、ページ構造が変わった後でも完全一致のセレクタではなく類似性で位置を特定し直す。「類似要素を探す」呼び出しもあり、一致した要素の兄弟を自動で見つける。一覧ページにバッジが増えたり、項目が新しいdivで包まれたりしたときに効く。
魔法ではないし、全面リニューアルから救ってくれるものでもない。だがこれが扱う失敗、つまりセレクタが静かに一致しなくなるという失敗は、この仕事で最も高くつくものだ。静かな失敗をあいまい一致に変えるものなら、依存を1つ増やす価値がある。
なぜ2年前ではなく今なのか
タイミングはスクレイピングの話ではない。誰がスクレイピングするかの話だ。
リポジトリにはエージェントスキルが同梱されている。Clawhubに掲載され、ライブラリと並んで文書化されている。AIエージェントがページを必要とするたびにrequestsとBeautifulSoupの使い捨てスクリプトを生成するのではなく、ツールとしてScraplingを呼べる。[ai]の追加の裏にはMCPサーバーもある。
これは「人間がインポートするライブラリ」とは別の製品カテゴリだ。エージェントが自分でスクレイパーを書くと、一度動けばいいコードになりがちだ。リトライもなく、フィンガープリントの扱いもなく、Cloudflareのページをどうするかも分からない。それを全部扱えるツールを渡すほうが、生成されたスクリプトが良いことを願うより安い。
だからスター数はワークフローへの賭けでもある。「私はスクレイパーを書く」ではなく、「自分のエージェントがページを読む必要があり、それを1回の呼び出しにしたい」という賭けだ。
10分の評価
優しいページで判断してはいけない。前回のスクレイパーを壊したサイトを選ぶ。遅延読み込みの一覧があり、3回リクエストするとボットチェックが出るようなサイトだ。
まずFetcherで1回取得し、本物のHTMLが返るか空の殻かを見る。次にStealthyFetcherで取得し、ブラウザが立ち上がってチャレンジを抜けるまでどれだけかかるか測る。その数字がページあたりの予算になる。1秒か2秒を超えるなら、クロールの設計が変わる。
次にセレクタをわざと壊す。保存したページのコピーでクラス名を変え、パースを再実行する。適応追跡が要素を再特定できれば、1年で最も時間を節約してくれる機能を見つけたことになる。何も返らなければ、限界を知ったことになる。
最後に、404を返すページとタイムアウトするページに向ける。エラーハンドリングは、そのライブラリが誰かに本番で動かされたことがあるかを露呈させる場所だ。
ブラウザフレームワークとの位置関係
ScraplingはPlaywrightを置き換えようとしていないし、この比較は明確にしておく価値がある。Playwrightはブラウザ自動化のライブラリだ。ブラウザを操作し、クリック、入力、ネットワーク条件の待機、スクリーンショットなど、ブラウザができることをすべて公開する。UIのテストには正しい道具である。
Scraplingは、ページが要求するときにブラウザを使うスクレイピングライブラリだ。APIはデータ抽出を中心に設計され、ユーザー行動の再現を中心にはしていない。仕事が「4万の商品ページからこの表を読む」なら、その違いがすべてだ。仕事が「ログインしてカートに入れ、レシートを確認する」なら、欲しいのは自動化ツールのほうだ。
重なりは実際にあり、多くのチームは最終的に両方を持つ。スクリプト化が必要なフローにはPlaywright、読む必要があるページにはScrapling。
気をつけること
Cloudflareのチャレンジを解くのは正当な技術能力であり、場所と集めているものによっては法的にグレーでもある。ライブラリはそれを教えてくれない。利用規約、robots.txt、レート制限、個人データの規則は、クライアントがJavaScriptを描画するかどうかに関係なく適用される。
大規模なブラウザ自動化は重い。stealthyセッションはそれぞれ実ブラウザだ。StealthyFetcherで1万ページを回すのは、スクリプトではなく計算資源の請求書になる。まず素のFetcherで始め、本当に必要なページだけ格上げする。
そしてREADMEの自信は人格であって保証ではない。プロジェクトは代替と比べて自分を良く見せる。その比較は作者のもので、作者のベンチマークで走っている。結果ではなく、試す理由として扱う。
持ち帰るもの
Scraplingの面白さは、ベンチマークで他のスクレイパーに勝ったことではない。主な仕事が地味であるライブラリが、地味な部分について正直であることで9万9000のスターを獲ったことだ。フィンガープリント、ブラウザのインストール、一致しなくなるセレクタ、話す前にチャレンジを解かせるページ。
Webの大半は今もdivと願いで出来ている。それを尊重する道具は残す価値がある。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。