1비트면 충분하다: 마이크로소프트 BitNet이 계속 사랑받는 이유

성립해서는 안 될 숫자

모든 대규모 언어 모델은 결국 엄청나게 많은 곱셈이다. 수십억 개의 파라미터가 있고, 각각은 여러 자리의 정밀도를 지닌 소수이며, 추론 시 각각 대응하는 값과 곱해진다. 비용은 정밀도에 깃들어 있다. 정밀도를 낮추면 모델은 더 저렴해지고, 더 빨라지고, 더 작아진다. 너무 낮추면 모델은 작동을 멈춘다.

수년간의 통념은 거기에는 하한이 있다는 것이었다. 가중치를 8비트까지, 신중하면 4비트까지 압축할 수 있다. 그 아래에서는 연산이 무너지고 출력은 엉터리가 된다. 그러다 한 연구 흐름이 그 하한을 단 1비트까지 끌어내렸고, 다소 의외의 일이 벌어졌다. 모델이 계속 작동한 것이다.

1비트 모델을 위한 공식 추론 프레임워크인 마이크로소프트의 BitNet이 이번 달에도 GitHub 주간 트렌딩 차트에 다시 올랐다. 1비트 가중치로 이루어진 모델이 왜 요기가 아니며 실제로 무엇을 가져다주는지 이해하기에 좋은 시점이다.

1비트 가중치의 실제 의미

이름은 다소 오해를 부르며, 정밀도는 정확히 짚고 넘어갈 가치가 있다. 완전한 1비트 가중치는 단일 이진값이다. 더 성공적인 접근은 세 가지 값을 쓴다. 음의 일, 영, 양의 일이다. 흔히 삼진(ternary) 방식 또는 1.58비트 방식이라 불리며, 이 1.58은 둘이 아니라 세 가지 선택지 중에서 고를 수 있는 것의 정보이론적 비용일 뿐이다.

이 제약은 잔혹하게 들린다. 네트워크의 모든 가중치가 세 가지 상태 중 하나로 강제된다는 뜻이기 때문이다. 그것이 작동하는 이유는, 처음부터 그 제약을 걸고 학습된 신경망이 그 안에서 사는 법을 배우기 때문이다. 중요한 가중치는 양 극단으로 밀려나고, 그렇지 않은 것은 영으로 밀려난다. 대부분의 가중치는 애초에 많은 정보를 담고 있지 않았기에 모델의 손실은 크지 않다.

보상은 성격이 달라진 연산이다. 전통적인 모델은 파라미터마다 두 개의 여러 자리 수를 곱한다. 삼진 모델은 값을 더할지, 뺄지, 아니면 아예 건너뛸지를 주로 판단한다. 실리콘에서는 덧셈이 곱셈보다 시간과 에너지 모두에서 극적으로 저렴하며, 넓은 곱셈기가 필요 없어진다는 것은 칩을 비싸게 만드는 요인의 큰 부분을 제거한다.

거기에 이르려면 모델이 저장되는 방식뿐 아니라 만들어지는 방식을 바꿔야 한다. 완전 정밀도로 학습된 완성된 모델을 가져와 모든 가중치를 단순히 음의 일, 영, 양의 일로 반올림할 수는 없다. 정확도가 무너진다. 제약은 학습 중에 존재해야 하며, 그래야 네트워크가 유지하도록 허용된 세 값을 통해 자신의 역량을 전달하는 법을 배운다. 그래서 이 접근은 학습 레시피에 따라 성패가 갈리고, 체크포인트만으로는 결과를 재현하기 어렵다.

왜 CPU에서 도는가

가장 눈에 띄는 실용적 결과는 이 모델들이 어디서 돌 수 있는가에 있다. 연산이 매우 가볍기 때문에 1비트 모델은 쓸 만해지기 위해 데이터센터 가속기라는 특수 장비가 필요 없다. 평범한 CPU에서 돌아가며, 그 속도는 단순한 흥미로운 데모가 아니라 실제 애플리케이션에 쓸 만한 수준이다.

이는 들리는 것보다 큰 의미다. 현대 AI의 기본 서사는 GPU에 관한 서사다. 누가 가지고 있는지, 몇 장인지, 얼마인지. 그것 없이도 잘 돌아가는 모든 모델은 참여할 수 있는 사람을 넓히는 모델이다. 적당한 성능의 1비트 모델이 노트북에서 돌아간다면, 유능한 로컬 언어 모델을 쓰는 장벽은 하드웨어가 아니라 인내심이 된다.

에너지는 이 논증의 나머지 절반이다. 대형 모델을 돌리는 데이터센터는 경제적으로도 정치적으로도 진짜 제약이 된 규모로 전력을 소모한다. 같은 작업에 아주 적은 연산만 필요한 모델은 그 예산에서 작은 최적화가 아니다. 어떤 작업이 그 사이트에서 실행 가능한지 아닌지의 차이다.

정직하게 만드는 단서

1비트 모델이 엄격히 더 낫다면 모두가 쓸 것이고 이 프레임워크가 트렌딩할 필요도 없을 것이다. 현실은 더 결이 있다. 삼진 모델은 완전 정밀도 모델의 즉시 대체품이 아니다. 학습 절차가 다르고, 도구는 더 어리며, 미세조정과 어댑터 생태계는 그 위에 구축한 사람이 적어 더 작다.

헤드라인 숫자가 가릴 수 있는 품질 문제도 있다. 주어진 파라미터 수의 1비트 모델이 같은 수의 완전 정밀도 모델만큼 자동으로 유능한 것은 아니다. 이 접근의 요점은 같은 기계로 훨씬 큰 1비트 모델을 감당할 수 있고, 그 큰 모델이 더 작은 고정밀 모델에 필적하거나 능가할 수 있다는 것이다. 중요한 비교는 정밀도 대 정밀도가 아니다. 하드웨어 단위당 역량이며, 거기서 이 거래는 흔히 본전을 뽑는다.

정직하게 정리하면 이는 설계 트리의 다른 가지이지, 엄격히 우월한 잎이 아니다. 약간의 유연성과 많은 생태계 성숙도를 연산 비용의 큰 감소와 맞바꾼다. 그 거래의 어느 쪽을 원하는지는 당신의 병목이 역량인지 비용인지에 전적으로 달려 있다.

두 종류의 모델이 실패하는 방식에도 미묘한 차이가 있다. 역량을 넘어선 질문을 받은 완전 정밀도 모델은 그럴듯하지만 틀린 답을 내놓는 경향이 있다. 더 큰 크기의 잘 학습된 삼진 모델도 이 점에서 뚜렷이 나쁘지 않고, 실패는 비슷해 보인다. 다른 것은 당신이 하는 거래의 모양이다. 값싸게 돌아가는 더 크고 다루기 어려운 모델을, 비싸게 돌아가는 더 작고 매끄러운 모델과 맞바꾸어 받아들인다. 어느 쪽도 공짜가 아니며, 그렇지 않은 척하는 것이 결과에 실망하게 되는 길이다.

벤치마크를 넘어 중요한 이유

1비트 연구 흐름에서 흥미로운 점은 단일 과제에서 이긴다는 것이 아니다. 전체 분야가 의지해 온 가정에 의문을 던진다는 것이다. 유용성은 정밀도에 따라 커지고, 정밀도는 하드웨어에 따라 커진다는 가정 말이다. 정밀도가 붕괴해도 역량이 보존될 수 있다면, 누가 어디서 AI를 돌릴 수 있는가에 대한 많은 가정이 무르기 시작한다.

이는 이번 달 다른 곳에서 논의된 종류의 모델에도 영향을 준다. 이미지와 비디오 생성은 소비자 측에서 가장 연산을 많이 먹는 작업이며, 바로 삼진 기법을 적용하기 가장 어려운 작업이다. 그 아키텍처가 이 프레임워크들이 염두에 두고 만들어진 언어 모델과 다르기 때문이다. 그러나 방향은 분명하다. 유능한 모델을 감당 가능한 하드웨어에서 돌리려는 압력은 사라지지 않으며, 그 압력을 덜어 주는 모든 기법은 수요를 찾는다.

긴 승부

BitNet이 프런티어 모델을 대체하지는 않을 것이다. 이 접근의 어디에도 그것을 시사하는 바는 없고, 업계도 그것을 기다리지 않는다. BitNet이 하는 일은 문을 열어 두는 것이다. 모델이 사치품일 필요는 없고, 역량과 비용은 같은 축이 아니며, 언어 모델을 유용하게 만드는 것의 상당 부분이 가중치당 세 값으로 짜내져도 살아남는다고 말한다.

대부분의 사람에게 그 실제 영향은 오늘 보이지 않는다. 이미 가진 하드웨어에서 유능한 모델을 원하는 늘어나는 사람들과 전기 요금을 바라보는 운영자에게는, 이런 종류의 작업이 스스로를 알리지 않고 무엇이 가능한지를 바꾼다. AI에서 가장 중요한 연구는 항상 차트 정상에 오르는 모델이 아니다. 때로는 차트를 무의미하게 만드는 모델이다.