Scrapling, 심심함으로 9만 9000개의 별을 얻다

Scrapling은 이번 주 기준 GitHub에서 별 9만 9627개를 받았다. 웹 스크래핑 라이브러리로는 이상한 숫자다. 정직한 작업이 화려하지 않고, 인기 프로젝트가 방치되거나 18개월마다 다시 쓰이는 카테고리다.
README는 첫 두 줄에서 큰 주장을 한다. '단일 요청부터 대규모 크롤까지 모든 것을 처리하는 최고의 웹 스크래핑 프레임워크'다. 그리고 이례적으로, 나머지 문서 전체를 구체적인 내용으로 그 주장을 증명하는 데 쓴다. 한 단계를 건너뛰면 깨지는 설치 명령. 파이썬 네 줄로 Cloudflare 챌린지가 풀리는 예시. 파서만 설치하면 페처를 임포트하는 순간 ModuleNotFoundError가 난다는 경고. 보통 README가 숨기는 종류의 정보다.
마지막 디테일 때문에 나는 나머지도 믿는다.
설치가 곧 튜토리얼이다
Python 3.10 이상이 필요하다. 그다음은 이렇다.
pip install scrapling
이 명령은 파싱 엔진만 준다. 페처도, CLI도, 브라우저도 없다. scrapling.fetchers에서 임포트를 시도하면 실패한다. README는 그 사실을 직접 겪게 두지 않고 경고 상자에 적어 둔다.
실제로 페이지를 가져오려면 이렇게 한다.
pip install "scrapling[fetchers]"
scrapling install
두 번째 명령이 브라우저와 시스템 의존성, 핑거프린트 조작 레이어를 내려받는다. 필요하면 추가 옵션도 있다. MCP 서버용 [ai], RAG 헬퍼용 [rag], 대화형 스크래핑 셸용 [shell]과 extract 명령용, 전부 담은 [all]. Docker 이미지도 있는데, 대부분은 프로덕션에서 결국 그것을 쓰게 된다.
구조가 이 도구의 대상 독자를 알려준다. HTML 파일 하나를 파싱하려는 데이터 분석가는 추가 비용을 내지 않는다. 크롤을 돌리는 사람은 브라우저 다운로드 값을 한 번 치른다.
예전에 마흔 줄이던 네 줄
기본 패턴은 브라우저 핑거프린트를 붙인 세션이다.
with FetcherSession(impersonate='chrome') as session:
page = session.get(url, stealthy_headers=True)
quotes = page.css('.quote .text::text').getall()
impersonate 인자는 실제로 일을 한다. 요청이 사용자 에이전트 문자열만이 아니라 TLS 수준에서 현재 Chrome처럼 보이게 만든다. 스크래퍼가 뚜렷한 이유 없이 차단되는 걸 본 사람은 보통 원인이 핸드셰이크이지 헤더가 아니라는 것을 안다.
페이지에 자바스크립트가 필요할 때도 같은 선택자가 실제 브라우저에 그대로 작동한다.
with StealthySession(headless=True, solve_cloudflare=True) as session:
page = session.fetch(target, google_search=False)
그리고 Scrapling은 이 모든 것에 하나의 API를 유지한다. page.css(), page.xpath(), 텍스트 검색, 정규식 검색. 페이지가 순수 HTTP 요청에서 왔든 방금 중간 페이지를 통과한 헤드리스 Chromium에서 왔든 같은 호출이다. 그 일관성이 가치의 대부분이다. 대부분의 스크래핑 스택은 파서를 두 벌 작성하고 둘 다 유지하게 만든다.

별을 정당화하는 기능
웹 스크래핑은 끊임없이 깨지고, 거의 항상 조용히 깨진다. 사이트가 클래스 이름을 바꾸면 선택자가 빈 리스트를 반환하고, 파이프라인은 계속 돌면서 일주일 뒤 누군가 알아챌 때까지 DB에 null을 써 넣는다.
Scrapling의 답은 적응형 요소 추적이다. 매칭된 요소에 대한 정보를 충분히 저장해 두고, 페이지 구조가 바뀐 뒤에도 정확한 선택자가 아니라 유사도를 이용해 위치를 다시 찾는다. 매칭된 요소의 형제를 자동으로 찾는 '유사 요소 찾기' 호출도 있다. 목록 페이지에 배지가 붙거나 항목이 새 div로 감싸질 때 유용하다.
마법은 아니고, 전면 리디자인을 막아주지도 않는다. 하지만 그것이 다루는 실패 모드, 즉 선택자가 조용히 매칭을 멈추는 일은 이 업에서 가장 비싼 실패다. 조용한 실패를 퍼지 매칭으로 바꾸는 것은 의존성 하나를 들일 만하다.
왜 지금 뜨고, 2년 전에는 안 떴나
타이밍은 스크래핑에 관한 게 아니다. 누가 스크래핑을 하는지에 관한 것이다.
저장소에는 에이전트 스킬이 들어 있다. Clawhub에 등재되고 라이브러리와 함께 문서화되어 있어, AI 에이전트가 페이지 하나가 필요할 때마다 일회용 requests와 BeautifulSoup 스크립트를 만드는 대신 Scrapling을 도구로 호출할 수 있다. [ai] 옵션 뒤에는 MCP 서버도 있다.
이것은 '사람이 임포트하는 라이브러리'와는 다른 제품 범주다. 에이전트가 스크래퍼를 직접 쓰면 한 번만 작동하는 코드를 만들기 쉽다. 재시도 로직도, 핑거프린트 처리도, Cloudflare 페이지를 어떻게 할지에 대한 감각도 없다. 그 모든 것을 이미 처리하는 도구를 건네는 편이 생성된 스크립트가 잘 나오길 바라는 것보다 싸다.
그래서 별 개수는 부분적으로 워크플로에 대한 베팅이다. '내가 스크래퍼를 짜겠다'가 아니라 '내 에이전트가 페이지를 읽어야 하고, 그게 호출 한 번이면 좋겠다'는 쪽이다.
10분 평가
우호적인 페이지로 판단하지 마라. 지난번 스크래퍼를 깨뜨린 사이트를 골라라. 지연 로딩 목록이 있고, 세 번 요청하면 봇 검사가 뜨는 곳.
Fetcher로 한 번 가져와 실제 HTML이 오는지 껍데기만 오는지 본다. 그다음 StealthyFetcher로 가져와 브라우저가 뜨고 챌린지를 통과하는 데 얼마나 걸리는지 본다. 그 숫자가 페이지당 예산이다. 1~2초를 넘으면 크롤 설계가 달라진다.
그다음 일부러 선택자를 깨뜨려라. 저장한 페이지 사본에서 클래스 이름을 바꾸고 파싱을 다시 돌린다. 적응형 추적이 요소를 다시 찾으면, 1년 동안 가장 많은 시간을 아껴줄 기능을 찾은 것이다. 아무것도 반환하지 않으면 한계를 안 것이다.
마지막으로 404를 반환하는 페이지와 타임아웃되는 페이지에 겨눠라. 라이브러리가 프로덕션에서 돌아간 적이 있는지는 보통 에러 처리에서 드러난다.
브라우저 프레임워크 옆에서의 위치
Scrapling은 Playwright를 대체하려 하지 않는다. 비교는 분명히 할 필요가 있다. Playwright는 브라우저 자동화 라이브러리다. 브라우저를 조작하고 클릭, 타이핑, 네트워크 조건 대기, 스크린샷까지 브라우저가 할 수 있는 모든 것을 노출한다. UI를 테스트할 때 맞는 도구다.
Scrapling은 페이지가 브라우저를 요구할 때 브라우저를 쓰는 스크래핑 라이브러리다. API는 사용자 행동을 재현하는 게 아니라 데이터 추출을 중심으로 만들어졌다. 일이 '제품 페이지 4만 개에서 이 표를 읽는 것'이라면 그 차이가 전부다. 일이 '로그인하고, 장바구니에 넣고, 영수증을 확인하는 것'이라면 자동화 도구를 원할 것이다.
겹치는 부분은 실제로 있고, 대부분 팀은 결국 둘 다 쓴다. 반드시 스크립트로 짜야 하는 흐름에는 Playwright, 반드시 읽어야 하는 페이지에는 Scrapling.
조심할 것
Cloudflare 챌린지를 푸는 것은 정당한 기술 역량이고, 어디에 있느냐와 무엇을 수집하느냐에 따라 법적으로 회색이다. 라이브러리는 그걸 알려주지 않는다. 이용약관, robots.txt, 요청 제한, 개인정보 규칙은 클라이언트가 자바스크립트를 렌더링하든 아니든 여전히 적용된다.
대규모 브라우저 자동화는 무겁기도 하다. 스텔스 세션 하나가 실제 브라우저 하나다. StealthyFetcher로 1만 페이지를 돌리면 스크립트가 아니라 컴퓨트 청구서다. 평범한 Fetcher로 시작하고, 정말 필요한 페이지에만 단계를 올려라.
그리고 README의 자신감은 성격이지 보장이 아니다. 프로젝트는 경쟁 제품과 자신을 유리하게 비교하는데, 그 비교는 저자가 저자의 벤치마크에서 돌린 것이다. 결과가 아니라 테스트해 볼 이유로 받아들여라.
정리
Scrapling에서 흥미로운 점은 벤치마크에서 다른 스크래퍼를 이겼다는 게 아니다. 주된 임무가 심심한 것인 라이브러리가, 심심한 부분에 대해 정직하게 굴어서 별 9만 개를 받았다는 점이다. 핑거프린트, 브라우저 설치, 매칭을 멈추는 선택자, 말을 걸기 전에 챌린지를 풀어야 하는 페이지.
웹의 대부분은 여전히 div와 희망으로 버티고 있다. 그걸 존중하는 도구는 남겨둘 만하다.
관련 글
중국산 안드로이드 시스템 UI의 광고를 끄는, 커뮤니티가 관리하는 탭 표
시스템을 건드리지 않고, 잠금 해제도, 플래싱도 하지 않는다. 제조사가 이미 열어 둔 스위치를 하나씩 뒤집을 뿐이다. 대가는 이 목록을 계속 써 줄 사람이 필요하다는 것이다.
GPT Image 2.6, 토큰 단가는 그대로 두고 청구서를 올렸다
GPT Image 2.6은 2.5의 토큰 단가를 하나도 바꾸지 않았는데 이미지 한 장 값은 올랐다. 작업의 상당 부분이 이제 출력 토큰에서 일어나기 때문이다. 출시 11일째, 가격 구조가 순위표보다 많은 것을 말한다.
IDM을 바깥에서 다시 만든 사람이 손대지 않은 부분을 적어 두었다
Mister Download Manager는 Internet Download Manager의 흐름을 Rust로 다시 구현해 5배 속도와 86개 언어를 내건다. 더 흥미로운 문서는 아무것도 복사하지 않고 어떻게 만들었는지 설명하는 문단이다.
Rune은 에이전트가 자기 작업을 검증할 수 있도록 만든 Rust UI 프레임워크
Rune은 헤드리스로 렌더링하고 요소 트리를 덤프하며 스크립트 입력을 받는다. 스크린샷으로는 얻을 수 없는, diff 가능한 신호를 코딩 에이전트에게 준다. 프레임워크는 프리릴리스이며 풀 리퀘스트를 받지 않는다.