서른네 개의 무료 티어, 하나의 엔드포인트: FreeLLMAPI가 실제로 파는 것

“34개의 무료 LLM 제공사”라는 문구를 읽자마자 언제 터질지 시간을 세기 시작하는 개발자 유형이 있다. FreeLLMAPI는 그런 개발자를 겨냥한 제품이고, 좋게 평가할 점은 README가 그 사실을 숨기지 않는다는 것이다. 숫자는 맨 위에 올라가 있는데, 보통 펀딩 발표문에나 쓰는 크기로 월 74억 토큰, 제공사 34곳, 무료 엔드포인트 635개, 모델 패밀리 474개, OpenAI 호환 URL 하나를 적어둔다.

이 저장소는 지난 한 달 사이 약 15,600개의 스타를 얻어 현재 약 45,400개다. 이런 성장세 자체가 하나의 신호다. 사람들이 스타를 누른 이유는 이게 우아해서가 아니다. 1년 내내 같은 일을 손으로, 그것도 서투르게 해왔기 때문이다. 대시보드 여섯 개를 열고, 키 여섯 개를 설정 파일에 복사하고, 새벽 2시에 스크립트가 실제로 의존하는 그 제공사의 쿼터가 세 시간 전에 리셋됐다는 사실을 알게 되는 일 말이다.

실제로 무엇인가

FreeLLMAPI는 클라이언트와 무료 티어 더미 사이에 놓이는 로컬 라우터다. 클라이언트 주소를 http://localhost:PORT/v1로 돌리고 아무 키 문자열이나 넣으면, 요청마다 어느 업스트림 모델을 쓸지 스스로 판단한다. 제공사가 레이트 리밋 오류를 토하기 시작하면 다음 제공사로 넘어간다. 키별 사용량을 추적하므로 월초까지 리셋되지 않는 한도를 무심코 다 써버리는 일이 없다. 키는 암호화해 저장한다.

트릭은 이게 전부고, 실제로 통하는 트릭이다. 무료 티어로 사이드 프로젝트를 굴려본 사람이라면 안다. 실패의 형태는 제공사 한 곳이 죽는 게 아니다. A사 특유의 오류 포맷에 맞춰 재시도 로직을 전부 짜놓고, B사는 포맷이 다르다는 걸 발견하고, C사는 스트리밍 방식이 또 다르다는 걸 발견하는 것이다.

설치하기

경로가 네 가지라는 사실 자체가 어떤 사용자를 예상하는지 알려준다.

가장 빠른 건 데스크톱 앱이다. 릴리스 페이지에서 macOS나 Windows용을 받아 실행하고 키를 넣으면 된다. 홈랩이나 작은 팀이라면 ghcr.io/freellmapi/freellmapi를 가리키는 Docker Compose가 있다. 몇 달씩 돌릴 거라면 나는 이걸 고르겠다. Android와 iOS 앱도 있는데, 과해 보이지만 월 20달러를 내지 않고도 폰에 폴백 모델을 두고 싶어 하는 사람이 실제로 있다는 걸 떠올리면 납득이 간다.

일단 떠 있으면 설정은 쓰는 클라이언트에 한 줄이면 끝이다. OpenAI API를 말하는 거라면 뭐든 작동한다. 코딩 에이전트, 채팅 UI, 늘 쓰는 Python과 TypeScript SDK까지. 베이스 URL을 지정하고 더미 키를 넣으면 요청이 흘러가기 시작한다. README의 호환 목록은 길고, 사람들이 매일 쓰는 CLI 에이전트도 들어 있다.

돈이 드는 부분

여기서부터 흥미로워진다. 카탈로그 자체는 서명된 피드에서 갱신된다. 새 무료 모델, 쿼터 변경, 호환성 수정이 git pull 없이 도착한다. 누구도 손으로 유지하고 싶지 않은 배관이고, 동시에 완전히 무료는 아닌 부분이기도 하다.

무료 설치에는 월간 스냅숏이 제공된다. 라이브 피드에 합류한 모델이 내 기계에 나타나는 건 30일 뒤다. 당일 카탈로그를 원하면 연 19달러를 낸다. 이게 비즈니스 모델이다. 라우팅도, 소프트웨어도(MIT 라이선스다) 아니고, 목록의 신선도다.

합리적인 모델이고, 동시에 귀띔이기도 하다. 이 범주의 가치는 애초에 프록시 코드가 아니었다. 635개 엔드포인트 중 이번 주에 어느 것이 살아 있고 어느 것이 조용히 무료 티어의 이미지 생성을 껐는지 아는 것이다. 그건 데이터 문제이고, 데이터는 빨리 낡는다.

해결하지 못하는 것

무료 티어가 무료인 이유는 누군가 내 트래픽의 한계 비용이 마케팅 비용만 하다고 판단했기 때문이다. 이용약관이 34곳을 하나의 엔드포인트 뒤에 묶어 접근 권한을 재판매하는 걸 허용해서 무료인 게 아니다. README에는 한계 섹션과 면책 문구가 있고, 프로덕션에 닿는 것에 이걸 물리기 전에 둘 다 읽어볼 만하다.

품질 문제도 있다. 무료 티어는 대개 작은 모델, 양자화 버전, 오래된 체크포인트다. 워크플로가 특정 모델의 특정한 동작을 요구한다면, 첫 모델이 레이트 리밋에 걸렸을 때 조용히 다른 모델로 갈아끼우는 라우터는 디버깅하기 어려운 방식으로 결과가 들쭉날쭉해진다. 라우터에는 페일오버 로직이 있지만, “내 작업에서 이 두 모델은 서로 대체 가능하다”라는 개념은 없다.

지연 시간도 있다. 홉마다 판단이 하나씩 붙는다. 모두 건강할 때는 느끼지 못한다. 34곳 중 세 곳이 안 좋은 오후를 보내는 날에는, 다른 곳에서 성공하기 전에 11초를 실패에 쓰는 요청 형태로 체감된다.

작동하게 만드는, 매력 없는 디테일

키별 집계는 비슷한 걸 만든다면 내가 훔쳐올 부분이다. 무료 티어는 대개 요란하게 실패하지 않는다. 느린 성능 저하로 실패한다. 월요일엔 돌던 스크립트가 수요일엔 느려지고, 금요일엔 429를 뱉기 시작하는데 코드는 그걸 일반 오류로 처리하고 영원히 재시도한다. 키마다 한도를 알고 벽에 부딪히기 전에 요청을 멈추는 라우터는 시스템을 살려두는 지루하고 필수적인 일을 한다.

또 하나 기록해둘 설계 선택은, 모델 선택에서 사용자를 놀라게 할 만큼 영리해지려 하지 않는다는 점이다. 원하면 모델을 고정할 수 있다. 이 라우터는 실패를 흡수하기 위해 존재하지, 어떤 모델이 내 프롬프트에 더 나은지 논평하려고 존재하지 않는다. 이 카테고리에서 그런 절제는 드물다. 대개는 “스마트 라우팅” 레이어를 덧붙여 출력을 재현 불가능하게 만들고 디버깅을 지옥으로 만든다.

누구를 위한 것인가

신뢰성이 필요한 걸 만든다면 이건 당신의 인프라가 아니다. 좋은 API 하나에 돈을 내고 넘어가라. 프로덕션에서 들쭉날쭉한 모델의 비용은 백만 토큰당 달러가 아니라 지원 티켓으로 계산된다.

자기 자신을 위한 걸 만들거나, 토요일 새벽 1시에 아이디어를 프로토타이핑하는 중이라면, 이건 대부분의 “AI 툴링” 저장소와 달리 진짜로 유용하다. 지루한 부분(키 관리, 쿼터 추적, 페일오버)을 걷어내고 중요한 부분(아이디어가 되는가)만 남긴다. 월 74억 토큰이라는 헤드라인은 마케팅이지만, 그 아래 주장은 사실이다. 34개 제공사의 무료 용량을 합치면 어느 한 곳보다 훨씬 크고, 대부분은 유휴 상태다.

이 프로젝트가 던지는 불편한 질문은 내년에 관한 것이다. 모든 무료 티어는 고객 획득 예산이고, 그 예산은 깎이고 있다. 34곳에 의존하는 라우터는 최소한 일부는 계속 추론을 공짜로 제공할 것이라는 베팅이다. 그 베팅은 한동안 성공해왔다. 영원히 성공한다면 오히려 이상할 것이다.

그래도 지금은 45,000명이 그 거래가 값어치 있다고 판단했고, 한계를 솔직하게 밝힌 README 덕분에 나는 모든 걸 약속하고 아무것도 문서화하지 않는 대안들보다 이걸 더 신뢰하게 된다.