Scrapling은 5,000개 요소를 1.99밀리초에 파싱한다. 팔기 어려운 쪽은 Cloudflare다

D4Vinci/Scrapling은 일주일 만에 약 8,700개의 star를 모아 총 99,671개로 GitHub 주간 차트에 올랐다. Python 스크래핑 프레임워크이고, 이미 붐비는 분야다. 작은 것으로 승부하지도 않는다. README 첫 줄의 세일즈 포인트는 빠른 HTTP 요청, 스텔스 브라우저, 파싱, 동시 크롤링을 하나의 라이브러리에 담았다는 것이고, 이 문장은 보통 접착제로 붙여야 하는 네 개 라이브러리의 설명이기도 하다.
사람들이 인용하는 것은 벤치마크다. 5,000개의 중첩 요소에서 텍스트 추출: Scrapling 1.99 ms, Parsel/Scrapy 2.06, 순수 lxml 2.56, PyQuery 23.98, Selectolax 197.02, MechanicalSoup 1,545.15, lxml을 쓴 BeautifulSoup 1,562.1, html5lib을 쓴 BeautifulSoup 3,412.73. README에 따르면 100회 실행 평균이다.
표를 두 번 읽으면 보이는 것이 겉보다 좁다. 상위 세 개는 서로 30% 안에 있고, 모두 lxml 기반 파서에 포장만 다르다. BeautifulSoup과의 780x 차이는 사실이고, 10년째 사실이다. Scrapling은 lxml과 노이즈 수준에 있으면서 파싱보다 훨씬 많은 일을 한다. 좋은 결과이고, 다른 주장이다.
설치는 두 단계, 첫 단계가 함정이다
pip install scrapling
이 명령은 파싱 엔진과 그 의존성만 설치한다. 그게 전부다. `scrapling.fetchers`나 `scrapling.spiders`에서 import하면 `ModuleNotFoundError`가 난다. fetcher가 extra로 배포되기 때문이다.
pip install "scrapling[fetchers]"
scrapling install
두 번째 명령이 브라우저와 시스템 의존성을 내려받는다. 건너뛰면 스텔스 fetcher가 구동할 대상이 없다. 다른 extra로는 `scrapling[ai]`가 MCP 서버, `scrapling[rag]`가 검색용 markdown 출력, `scrapling[shell]`이 대화형 셸과 `extract` 명령, `scrapling[all]`이 전부를 담는다. Docker 이미지는 `pyd4vinci/scrapling`과 GitHub 레지스트리에 있다.
분리 자체는 합리적이다. 파서가 브라우저를 끌어올 이유는 없다. 그래도 `pip install scrapling`으로 시작하는 모든 튜토리얼은 두 번째 줄에서 traceback을 낸다. README가 첫 경고를 그 지점에 쓴 이유다.

두 fetcher, 두 가지 다른 일
가장 기본 호출은 누구나 쓰는 것이다.
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://quotes.toscrape.com/') quotes = page.css('.quote .text::text').getall() ```
`FetcherSession(impersonate='chrome')`은 세션을 유지하고 브라우저의 TLS 지문을 흉내 낸다. user agent가 아니라 핸드셰이크로 판별하는 사이트에서 중요하다. HTTP/3도 지원한다.
다른 fetcher가 이 프로젝트가 실제로 파는 것이다.
from scrapling.fetchers import StealthyFetcher
page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare', solve_cloudflare=True) ```
`StealthySession`은 헤드리스 브라우저를 열어 두고 Cloudflare Turnstile과 interstitial 검사를 처리한다. `record_requests=True`와 `session.network.search()`로 페이지가 뒤에서 호출하는 API 요청을 잡아낼 수 있다. 마지막 기능이 작업 방식을 바꾼다. 스크래핑의 상당 부분은 HTML을 읽는 일이 아니라 페이지가 호출하는 JSON 엔드포인트를 찾아 직접 호출하는 일이다. 그 요청을 드러내 주는 도구는 dev tools에서 보내는 반나절을 아낀다.
프록시를 돌리는 `ProxyRotator`, Cloudflare를 통한 DoH 기반 DNS 누출 방지, 약 3,500개의 알려진 광고·트래커 도메인 차단, 원격 브라우저에 붙는 `cdp_url` 옵션도 있다.
Spider API는 일부러 Scrapy 모양이다
from scrapling.spiders import Spider, Response
class QuotesSpider(Spider): name = "quotes" start_urls = ["https://quotes.toscrape.com/"] concurrent_requests = 10
async def parse(self, response: Response): for quote in response.css('.quote'): yield {"text": quote.css('.text::text').get(), "author": quote.css('.author::text').get()} nxt = response.css('.next a') if nxt: yield response.follow(nxt[0].attrib['href'])
result = QuotesSpider().start() result.items.to_json("quotes.json") ```
`start_urls`, async `parse`, yield하는 dict, `Request`와 `Response` 객체. Scrapy spider를 써 본 사람은 문서를 열지 않고 읽는다. 프레임워크는 도메인별 스로틀링(AutoThrottle), `robots_txt_obey`, `LinkExtractor`, 재시도가 붙은 차단 감지, 응답을 디스크에 캐시해 사이트를 다시 치지 않고 크롤을 재생하는 개발 모드를 더한다.
실무에서 가장 많은 시간을 아끼는 것은 `crawldir`다. 디렉터리를 넘기면 Ctrl+C 때 미완료 요청과 이미 본 URL이 저장된다. 같은 디렉터리로 다시 시작하면 크롤이 이어진다. 긴 크롤은 실패한다. 실패하지 않는다고 가정하는 프레임워크는 옆에서 지켜봐야 하는 프레임워크다.
흔한 형태의 템플릿이 들어 있다. `CrawlSpider`, `SitemapSpider`, XML과 CSV 피드 spider, 그리고 `ShopifySpider`. 마지막은 스토어의 공개 collection 엔드포인트를 읽어 variant마다 item 하나를 낸다. 내보내기도 내장이다. `to_json`, `to_jsonl`, `to_csv`, `to_xml`.
selector 객체는 저평가된 부분이다
파싱된 페이지는 노드 리스트가 아니라 `Selector` 객체로 돌아온다. CSS, XPath, `find_all`, `find_by_text`, 정규식 검색을 지원하고 `.next`, `.parent`, `.below_elements`, `find_similar()` 같은 이동도 된다. 사이트 개편 후 타깃을 다시 찾는 요소 추적 기능도 있다. 오래 쓰는 스크래퍼를 죽이는 유지보수 문제가 바로 그것이다. 항상 되는 것은 아니지만, 되면 재작성 한 번을 아낀다.
파서는 단독으로도 돈다. `Selector("...")`는 네트워크를 타지 않는다. 추출 로직 단위 테스트를 이렇게 쓴다.
MCP 서버, 그리고 스크래핑 라이브러리가 지금 그것을 함께 내놓는 이유
`scrapling[ai]`는 MCP 서버를 더해 agent가 fetcher를 직접 호출하게 한다. 스크린샷, 로그인된 세션, 캡처한 백그라운드 API까지 포함한다. README는 prompt injection 방어를 언급하는데, 걱정해야 할 지점이 맞다. 페이지 텍스트를 모델에 넘기는 스크래퍼는 페이지가 읽히게 하고 싶은 것을 모델이 읽게 되는 통로다.
이 패키징 선택은 유지관리자가 사용자를 어디에 두고 보는지 말해 준다. 1년 전 스크래핑 라이브러리는 데이터 엔지니어가 스크립트 안에서 쓰는 물건이었다. 지금은 agent가 작업 도중 집어 드는 도구이기도 하고, agent가 필요로 하는 인터페이스는 스키마가 붙은 tool call이다.
README에서 실제로 일하는 한 줄
끝부분에 묻혀 있다. "This library is provided for educational and research purposes only." 그리고 이용약관과 robots.txt를 지켜 달라는 요청이 붙는다.
표준 면책 문구이고 법적으로는 거의 힘이 없다. 대신 실제 상황은 정확히 서술한다. 봇 검사를 통과하는 기술적 능력과 그렇게 해도 된다는 법적 허가는 무관하고, 후자는 나빠지고 있다. 예전에 스크래핑을 묵인하던 사이트가 지금은 소송하고, 엣지에서 막고, 접근을 유료로 판다. 우회를 사소하게 만드는 프레임워크는 결정을 "할 수 있나"에서 "해야 하나"로 옮기고, 그 결정을 스크립트를 돌리는 사람에게 넘긴다.
벤치마크 표가 star를 부르고 설치 함정이 issue를 부른다. 이 저장소가 2년 뒤에도 쓸모 있는지를 가르는 것은 유지관리자가 스텔스 계층을 최신으로 유지하느냐다. 그쪽은 러닝머신이고, 파싱은 아니다.