27B 모델을 가중치당 2비트로 압축하다

27B 모델을 가중치당 2비트로 압축하다

10월 9일, Underdog AI는 Saluki 27B를 공개했다. Qwen 3.8 27B 모델을 압축한 빌드다. 압축은 상당히 과감하다. 가중치당 2비트로, 전체를 약 7.89기가바이트 파일 하나에 담았다. Underdog에 따르면 결과물은 원본의 벤치마크 성능을 약 96퍼센트 유지하며, 도구 호출 작업에서는 오히려 풀사이즈 모델을 앞선다. 라이선스는 Apache 2.0이며 로컬 에이전트 워크플로를 겨냥한다.

숫자만 보면 오타 같다. 모델의 비트 깊이를 4분의 1로 줄이면 보통 품질을 크게 희생한다. Saluki의 주장은 그렇지 않다는 것이고, 에이전트에게 가장 중요한 그 작업에서는 오히려 더 나아졌다는 것이다.

2비트 양자화가 어려운 이유

모델 가중치는 숫자로 저장되고, 가중치당 비트 수가 각 가중치가 얼마나 정밀도를 유지할지 정한다. 16비트에서는 가중치 하나가 수만 가지 값 중 하나를 가질 수 있다. 2비트에서는 네 가지 중 하나만 가질 수 있다. 미세한 차이 위에 세워진 네트워크에게 거의 아무것도 없는 어휘로 자신을 표현하라고 요구하는 셈이다.

보통 실패하는 이유는 오차가 누적되기 때문이다. 각 가중치를 조금씩 반올림하면 그 층이 조금씩 어긋난다. 조금씩 어긋난 층을 수십 개 쌓으면 출력은 원본에서 크게 벗어난다. 대부분의 양자화 연구는 4비트를 실질적 하한으로 보고, 그 아래에서는 어느 정도의 품질 손실을 받아들인다.

더 낮은 비트를 밀어붙이는 방법들은 그냥 더 거칠게 반올림하지 않는다. 어떤 가중치는 거칠어도 되는지, 어떤 가중치는 날카롭게 유지해야 하는지 판단하고, 이후에 압축된 모델을 미세 조정해 손상을 복구하기도 한다. 2비트를 버티게 만드는 것은 무딘 작업이 아니라, 세심하고 표적이 분명한 과정이다.

도구 호출 결과가 흥미로운 부분이다

Saluki가 일반 벤치마크에서 원본과 대등하다는 점도 눈에 띈다. 도구 호출에서 원본을 앞선다는 점은 더 이상하고, 그 안에는 실재하는 무언가가 있다. 도구 호출은 구조화된 작업이다. 모델은 정확한 함수 이름과 인자를 내놓아야 하고, 작은 불일치 하나가 전체를 무너뜨린다. 조금 더 잡음이 많은 모델은 조금 더 다양한 출력을 낼 수 있고, 이 상황에서는 경계 사례에서 덜 걸려 넘어진다는 뜻일 수 있다.

더 단순한 설명도 있다. 압축 과정에 도구 사용 데이터에 대한 미세 조정이 포함되었다면, 결과물은 단지 더 작은 게 아니라 올바른 방향으로 더 좁혀진 모델이다. 전문가는 자기 전문 분야에서 범용 모델을 이길 수 있지만 다른 모든 것에서는 진다. 정직하게 읽자면, Saluki는 압축되었으면서 동시에 에이전트 작업 쪽으로 방향이 잡힌 모델이고, 그 두 변화가 합쳐져 결과를 설명한다.

여기서 중요한 지표는 지능 밀도다

Underdog는 이 개선을 기가바이트당 지능의 향상, 대략 원본의 7.5배로 설명한다. 이 틀은 로컬 에이전트의 경우에 정확히 들어맞는다. 자기 컴퓨터에서 모델을 돌릴 때 제약은 벤치마크 점수가 아니다. 모델이 메모리에 들어가고 주변 애플리케이션을 위한 여유를 남기는지다.

27B 모델을 완전한 정밀도로 돌리려면 제대로 된 하드웨어가 필요하다. 같은 모델이 약 8기가바이트면 노트북에서 돈다. 그리고 노트북은 에이전트 작업이 실제로 많이 일어나는 곳이다. 파일을 읽고, 명령을 실행하고, 결과를 확인한다. 압축의 가치는 미적인 것이 아니다. 로컬에서 돌릴 수 있는 유능한 모델과 빌려야만 하는 유능한 모델의 차이다.

로컬 에이전트 모델이 이 크기로 수렴하는 이유

Saluki는 더 큰 시스템 내부의 반복 작업을 맡기 위해 등장한 작고 개방적으로 라이선스된 모델 중 하나다. 패턴은 일관된다. 파라미터 약 70억에서 300억, 과감하게 압축되고, 관대한 라이선스, 에이전트의 빡빡한 루프를 겨냥한다.

논리는 매번 같다. 에이전트는 작업 하나에서 모델을 여러 번 호출하므로, 호출당 비용과 지연이 경험을 좌우한다. 로컬에서 돌 만큼 작은 모델은 네트워크 왕복과 토큰 요금을 모두 없앤다. 그러면 에이전트를 얼마나 과감하게 쓸 수 있는지가 달라진다. 자기 비서의 사용량을 더 이상 재지 않게 된다.

더 조용한 두 번째 이유도 있다. 로컬에서 도는 모델은 데이터를 어디에도 보내지 않는다. 업로드가 허용되지 않는 코드나 문서를 다루는 사람에게 중요하다. 그런 사람에게 압축은 비용 최적화가 아니다. 유능한 모델을 아예 손에 넣는 유일한 방법이다.

작은 파일의 가치를 숫자 하나로

크기 차이는 구체적으로 보는 게 낫다. 270억 파라미터 모델은 16비트에서 런타임 오버헤드를 제외하고도 약 54기가바이트를 차지한다. 이는 대부분의 노트북에 안 들어가고, 운영체제와 브라우저, 편집기가 몫을 가져간 뒤 남는 메모리에도 안 들어간다. 2비트에서는 같은 파라미터 수가 약 8기가바이트에 들어간다. 들어갈 뿐 아니라, 에이전트가 몰아야 할 도구들과 함께 들어간다.

이것이 로컬 에이전트 환경에서 저비트 압축을 하는 이유의 전부다. 전에는 아예 못 돌리던 모델을 돌린다는 얘기가 아니다. 그것도 일부지만. 기계가 눈치채지 못할 만큼 편하게 돌려서 에이전트가 반복 호출할 수 있게 한다는 얘기다. 시스템 전체를 느려지게 만드는 에이전트는 아무도 켜두지 않기 때문이다.

믿기 전에 확인할 것

압축 모델에는 특정한 종류의 회의가 필요하다. 대표 벤치마크는 유지돼도, 실제 작업이 만들어내는 길고 지저분한 입력에서는 성능이 떨어질 수 있다. 양자화 손상은 흔치 않은 형식, 긴 컨텍스트, 드문 언어에서 먼저 나타나는 경우가 많고, 짧은 벤치마크는 그중 어느 것도 잡아내지 못한다.

2비트가 무엇을 뜻하는지도 중요하다. 가중치당 비트 깊이, 그룹 크기, 일부 층을 더 높은 정밀도로 유지하는지 여부가 모두 이 숫자의 의미를 바꾼다. 한 방식의 2비트와 다른 방식의 2비트는 같지 않고, 그 차이는 모델 카드에서 분명하지 않다.

결국 무엇을 뜻하는가

프런티어 논쟁은 누구든 훈련할 수 있는 가장 큰 모델에 관한 것이다. 그에 못지않게 중요한 평행하는 논쟁은, 자기 하드웨어에서 여전히 쓸모 있을 만큼 좋은 가장 작은 모델에 관한 것이다. Saluki 27B는 두 번째 논쟁에 속하며, 구체적이고 검증 가능한 주장을 내놓는다. 2비트는 에이전트가 실제로 하는 일에 충분하다는 것이다.

그 주장이 벤치마크 밖에서도 버티면, 개인이 로컬에서 돌릴 수 있는 하한이 내려간다. 그리고 낮은 하한은 보통 다음 제품 물결이 만들어지는 곳이다. 이야기의 주인공은 모델이 아니다. 모델이 작아지는 것이다.

이 분야가 아직 젊다는 점도 기억할 만하다. 2비트 가중치를 작동하게 만드는 방법들은 지금도 쓰이고 있고, 발표 때마다 제품인 동시에 압축 기법의 시연이다. Saluki가 흥미로운 것은 오늘의 모습보다는, 좁은 관을 통과시킬 수 있는 것이 지금 무엇인지를 증명했다는 점이다. 이 계열의 다음 모델은 더 작거나, 더 날카롭거나, 둘 다일 것이고, 하한은 다시 내려갈 것이다.