744B 모델을 노트북에서, 전문가를 디스크에 두는 colibri

colibri의 README에는 오타처럼 읽히는 줄이 있다. 7440억 파라미터 모델, int4, CPU에서 스트리밍, 32초에 준비 완료, 상주 9.9GB. 노트북에서. 그래픽카드 없이.
오타는 아니지만 문장 전체도 아니다. 9.9GB는 메모리에 남는 부분이다. 모델이 실제로 참조하는 429GB의 전문가가 디스크에 있고, 모델이 요청할 때마다 읽혀 들어온다. 이 구분이 프로젝트의 전부다.
colibri는 C로 쓰였고 모델 패밀리마다 파일 하나다. 개발자는 JustVugg라는 이름으로 활동한다. 이번 주 GitHub 트렌딩에 올랐고 하루 약 803개의 스타를 받았다. 지금 13개 엔진이 들어 있다. 언어 모델용 10개, 그림을 그리는 것 1개, 분류 판단을 하는 것 2개. 트레이드오프에 유난히 직설적이고, 그래서 진지하게 볼 값이 있다.
전문가 스트리밍이 실제로 사주는 것
mixture-of-experts 모델은 이미 내부에서 이 요령을 쓴다. 744B 모델이 토큰 하나에 744B 파라미터를 쓰지 않는다. 그 토큰을 몇 개의 전문가로 보낸다. 512개 중 8개 정도, 그리고 공유 전문가 하나. 나머지는 놀고 있다.
데이터센터 추론은 전부 VRAM에 둔다. VRAM이 다른 무엇보다 빠르기 때문이다. colibri는 가정을 뒤집는다. 어느 토큰에서든 가중치의 95%가 놀고 있다면, 가장 비싼 메모리에 둘 이유가 무엇인가. 늘 쓰는 부분은 RAM에, 전문가는 디스크에 두고 라우터가 고른 것만 읽는다.
대가는 지연이고 colibri는 숨기지 않는다. README 표에서 GLM-5.2는 25GB 노트북에서 콜드 시 초당 0.05~0.1 토큰이다. 채팅 경험이 아니다. 20초에 한 문장이다. 128GB Ryzen AI Max+ 395에서는 1.83 tok/s. RTX 5090 여섯 장이면 9.0~9.2. 284B짜리 DeepSeek V4 Flash는 32GB Ryzen 7 5800X에서 0.93 tok/s, RTX 5080이 도우면 1.5~1.6이다.
이 숫자가 프로젝트의 정직한 부분이다. “노트북에서 돈다”는 주장의 상당수는 조용히 “노트북이 워크스테이션이면 돈다”를 뜻한다. 이쪽은 느린 사례를 빠른 사례 옆에 공개했고, 느린 사례는 정말 느리다.

설치가 배치 파일이다
colibri를 호기심 이상으로 만드는 건 컴파일을 하지 않는 사람을 위해 포장하는 재미없는 일을 누군가 했다는 점이다.
윈도우에서는 ZIP을 받아 START-HERE.bat을 더블클릭하면, 파이썬이 없을 때 설치할지 물어본다. 리눅스와 macOS에서는 git clone과 ./start-here.sh다. 스크립트는 다섯 가지를 순서대로 한다. RAM과 디스크, CPU, GPU를 읽고, 상주 부분과 최소 전문가 캐시가 RAM에 들어가는 모델을 추천하고, 컴파일러가 있으면 그 기계용으로 엔진을 빌드하고 없으면 미리 빌드된 바이너리를 받고, 모델을 이어받기 지원으로 내려받고, 대시보드가 붙은 로컬 서버를 띄운다.
최소 사양은 RAM 8GB와 가장 작은 모델용 빈 디스크 22GB다. GPU는 선택이고, README는 언제 도움이 되는지 구체적으로 적는다. 외장 카드에서는 항상, 내장 GPU에서는 더 빠르다고 측정된 세 모델에만.
서버는 중요한 두 방언을 쓴다. http://127.0.0.1:8000/v1은 OpenAI 호환 베이스 URL이고, 포트만 지정하면 Anthropic 호환이다. 실용적인 쓰임은 터미널에 타이핑하는 게 아니다. 이미 쓰는 도구를 localhost로 돌려 클라우드 사업자와 이야기한다고 믿게 만드는 것이다.
그림도 그린다
열세 번째 엔진이 내 눈을 붙잡았다. 텍스트 추론 프로젝트를 이미지 작업과 관련 있는 물건으로 바꾸기 때문이다. colibri는 Qwen-Image-2.1 엔진을 넣었다. 알리바바가 9월에 공개한 그 7B 모델이고, 네이티브 2048×2048 출력과 진짜 알파 채널을 갖고 있다.
README의 측정값. 다운로드 33GB, RAM 12~18GB, GPU 경로는 Vulkan, 8코어 Zen 4에서 CPU만 쓰면 768×512 한 장에 2분 40초. HTTP로 POST /v1/images/generations에 보낼 수도 있고, coli chat은 결과를 블록 문자로 터미널 안에 그린다.
768×512에 2분 40초면 누군가의 API 청구서를 대체하지는 못한다. 하지만 모델이 무엇인지에 대한 틀을 바꾼다. Qwen-Image-2.1은 연구 전용 라이선스로 나왔고, 유료 제품 뒤에 두는 순간 라이선스 대화가 생긴다. CPU로 돌리는 로컬 엔진은 그 대화 이전 단계를 위한 도구의 형태 그 자체다. 평가하는 것이지 파는 게 아니다.
디스크가 병목이 되는 지점
README는 그대로 말한다. 큰 모델에서는 디스크가 속도를 정하고 빠른 NVMe가 가장 도움이 된다. 각주가 아니라 실제 아키텍처 제약이다. SATA SSD의 순차 읽기는 제대로 된 NVMe의 약 10분의 1이고, 여기 접근 패턴도 완전한 순차가 아니다.
그래서 colibri를 정직하게 보는 방식은 명령줄 인터페이스를 갖춘 메모리 계층화 시스템이다. 처리량과 용량을 맞바꾸는 것이다. 429GB 모델은 32GB RAM에 들어가지 않는다. 1TB 드라이브에는 들어간다. 그 거래가 값어치가 있는지는 속도보다 능력이 더 필요한지에 전적으로 달려 있다.
에이전트 작업을 하는 사람에게 중요한 2차 효과도 있다. 에이전트는 몰아서 움직인다. 몇 분씩 놀다가 도구 호출을 스무 번 쏜다. 응답에 20초 걸리는 로컬 모델은 그 루프에서 쓸 수 없다. 2분 걸리는 모델도 쓸 수 없다. 정직한 용도는 배치 작업이다. 이 폴더를 요약하고, 이 문서 400개를 분류하고, 이 상품 설명 12개를 초안으로 쓴다. 자리를 비울 수 있는 실행이다.
먼저 시험해볼 것
디스크를 내주기 전에 확인할 값이 세 가지다.
콜드 스타트와 워밍. README의 32초는 아마 페이지 캐시가 데워진 GLM-5.2의 수치다. 부팅 뒤 첫 실행은 더 느리고, 회전식 디스크에서는 훨씬 느리다. 직접 재보라.
내 모델이 실제로 지원되는지. 손으로 쓴 C 기준으로 13개 엔진은 많은 편이지만 오픈 웨이트 생태계에서는 작은 조각이다. README는 같은 아키텍처를 공유하는 체크포인트는 그대로 돈다고 적는다. 유용한 탈출구이면서 동시에 단서다. “같은 아키텍처”가 그 문장에서 조용히 일하고 있다.
불러오는 것의 라이선스. colibri 자체는 돌리는 가중치의 조건을 바꾸지 않는다. Qwen-Image-2.1은 연구 전용이다. 언어 모델 중 일부는 MIT이고 일부는 아니다. 엔진은 중립이고 모델은 중립이 아니다.
저장소 하나를 넘어 중요한 이유
2년 동안 로컬 AI 이야기는 양자화 이야기였다. 모델을 들어갈 만큼 작게 만든다. 가중치당 2비트, VRAM 4GB, 스마트폰. 그 노선은 진짜이고 정말 쓸모 있는 것들을 만들어냈다.
colibri는 다른 축을 가리킨다. 모델을 작게 만드는 대신 메모리 계층을 깊게 만든다. RAM은 VRAM보다 싸다. 디스크는 RAM보다 싸다. “존재하는 모델”과 “내가 돌릴 수 있는 모델” 사이의 간격을 압축만으로 메울 필요는 없다. 느린 계층을 받아들이는 것으로 메울 수 있다.
새로운 발상은 아니다. 데이터베이스가 40년 동안 그렇게 동작해온 방식이고, 운영체제는 더 오래 그렇게 해왔다. 새로운 것은 누군가 744B 모델용 배치 파일로 이걸 내놓고, 느린 벤치마크를 빠른 것 옆에 공개하고, 이미지 모델까지 상자에 넣었다는 점이다.
이 저장소가 API 구독을 대체하지는 않을 것이다. 700B 모델은 빌려야만 한다는 가정을 대체할지도 모른다. 그리고 CPU 코어 여덟 개로 2분 40초 만에 그리는 그림은 “로컬”이 이분법이 아니라 스스로 정하는 예산이라는 걸 잘 일러준다.
관련 글
Antigravity의 원격 에이전트, 클라우드 VM에서 도는 대신 잃는 것
Antigravity 2.29에서 원격 에이전트가 등장해 세션과 도구가 Google 관리 클라우드 VM에서 돌아간다. 노트북을 닫아도 작업은 계속되지만 로컬 MCP 서버와 skills는 잃는다.
NVIDIA, 월드 모델 'Cosmos 3' 파생 4종과 디코딩 프레임워크 'VFlash' 잇달아 공개
NVIDIA는 11월 5일 16B Cosmos 3 Nano를 전문화한 체크포인트 네 종을 OpenMDW1.1로 공개하고 학습 레시피와 추론 코드를 함께 내놨다. 다음 날에는 기하 출력을 병렬 생성하는 디코딩 프레임워크 VFlash를 발표했다.
GitHub 트렌드 4분의 1이 '에이전트 skills'…설치 방식은 네 갈래로 갈렸다
11월 8일 GitHub 데일리 트렌드 15건 가운데 4건이 에이전트 skills 저장소였다. 형식은 `SKILL.md`와 YAML 프런트매터로 단순하지만, 설치 경로는 네 제품에서 제각각이고 중복이 우선순위 문제를 만든다.
Thinking Machines 'Inkling 2 Small', 594B 희소 MoE로 86.3%…가중치는 여전히 '다음 주'
Thinking Machines는 11월 5일 총 594B, 토큰당 17B 활성의 희소 MoE 'Inkling 2 Small'을 발표했다. SWE-Bench Pro v2 Hard에서 86.3%를 기록했고 Apache 2.0 가중치는 출시 일주일 뒤로 예고됐다.