스마트폰 한 대로 350억 파라미터, Demo에서 일상으로

스마트폰 한 대로 350억 파라미터, Demo에서 일상으로

10월 13일, 面壁智能(ModelBest)이 차세대 온디바이스 멀티모달 대형 모델 MiniCPM-V4.7을 발표하며 35B-A3B와 1B 두 버전을 한 번에 내놓았다. 언뜻 보면 평범한 업데이트지만, 35B-A3B 모델은 한 번 더 볼 만하다. 총 파라미터 350억, MoE(Mixture of Experts, 전문가 혼합) 아키텍처로 매 추론마다 약 30억 파라미터만 활성화한다. 공식 측은 “엣지에서 손실 없이 매끄럽게 실행되는 최초의 오픈소스 MoE 모델”이라고 밝혔고, 실행 시 메모리는 약 3GB만 차지한다.

iPad Pro에서 실측한 디코딩 속도는 15 token/s 이상이다. 물어보면 바로 답하고, 진행 표시줄이 천천히 올라가길 기다릴 필요가 없다.

엣지에서 MoE의 딜레마

MoE가 인기를 끄는 이유는 계산이 잘 맞아떨어지기 때문이다. 모델을 여러 “전문가”로 쪼개고 매번 그중 몇 개만 깨운다. 총 파라미터는 크게 쌓을 수 있지만 실제 연산량은 작은 모델에 가깝다. 이 노선은 클라우드에서 편안하다. 데이터센터에는 VRAM이 널려 있다.

엣지로 옮기면 곤란해진다. 병목은 연산력이 아니라 메모리다. 모든 전문가를 미리 넣어 둬야 한다. 다음 token이 누구를 쓸지 아무도 모르기 때문이다. 350억 파라미터를 일반 정밀도로 그대로 두면 수십 GB이고, 스마트폰 램은 바로 바닥난다. 엣지에서 “성능이 좋다”와 “돌아간다”는 하나만 고르는 문제가 된다.

다음 전문가를 미리 깨우기

面壁의 해법은 LES, Lookahead Expert Scheduling(선행 전문가 스케줄링)이다. 발상은 어렵지 않다. 어떤 전문가를 쓸지 예측할 수 있다면 미리 예측하면 된다. 현재 행렬 연산이 아직 돌아가는 동안 시스템이 다음에 호출할 전문가를 판단해 먼저 메모리에 로드하고, 로드와 연산을 겹쳐서 돌린다.

다르게 말하면 “급하게 창고에 물건을 가지러 가기”를 “일하는 동안 누군가 다음 물건을 미리 손에 쥐여 주기”로 바꾸는 것이다. 공식 측은 현재 업계에서 유일한 오픈소스 방식이라고 밝혔다.

두 버전, 각자의 역할

35B-A3B는 플래그십급 성능을 엣지로 옮기는 역할을 맡는다. 겨냥하는 것은 클라우드에 가까운 이해력을 원하면서 데이터를 내보내고 싶지 않은 상황이다. 오프라인 문서 Q&A, 사진을 찍어 즉석 인식, 네트워크 없는 환경의 음성 비서까지 사정권에 들어온다. 1B 버전은 효율을 극한까지 끌어올려, 소수 플래그십 기기만이 아니라 더 많은 기기에서 돌아가게 하는 것을 목표로 한다.

발표 당일 MiniCPM-V4.7은 瑞芯微(Rockchip), NVIDIA, Intel, Apple 등 칩 플랫폼에 대한 적응을 완료했고, iOS, 안드로이드, 하모니OS를 지원하며 엣지 적응 코드와 주요 추론 프레임워크를 공개했다. 이 행보의 속내는 분명하다. 실험실 데모가 아니라 개발자가 가져다 바로 제품화할 수 있기를 바란다는 것이다.

6000만 다운로드 뒤의 노선 선택

面壁과 OpenBMB 커뮤니티가 함께 유지하는 MiniCPM 시리즈는 누적 다운로드가 6000만 회를 넘어섰고 텍스트, 비전, 음성을 아우른다. 이 숫자는 오픈소스 생태계에서 작지 않다. 엣지 소형 모델이라는 노선에 안정적인 실제 수요가 있다는 뜻이며, 제조사의 자기 이야기가 아니다.

같은 주에 국내 엣지와 오픈소스 진영은 다른 움직임도 보였다. 샤오미는 MiMo-V2.6 시리즈를 오픈소스화했고, 플래그십 Pro 버전은 총 파라미터 1.02조, 활성 약 420억, 100만 token 컨텍스트로 “재귀적 자기 개선” 강화학습 노선을 택했으며, 드물게 RL 학습 비용도 공개했다. 중국과학원 자동화연구소는 우한인공지능연구원과 함께 紫東太初 ZDTaichu5.0-9B를 오픈소스화했고, 가중치뿐 아니라 데이터 수집·정제부터 3차원 주석, 합성 검증까지 갖춘 공간 멀티모달 데이터 생산 파이프라인 일체를 공개했다.

이 프로젝트들의 공통점은 제공하는 것이 더 이상 모델만이 아니라 “자사 데이터를 어떻게 모델 능력으로 바꿀지”라는 방법이라는 점이다. 자기 업종에서 성과를 내려는 팀에게는 후자가 더 값진 경우가 많다.

엣지가 결국 해결하는 것

클라우드 모델이 더 똑똑하다. 이 점은 당분간 변하지 않는다. 엣지의 가치는 절대적 성능이 아니라 아주 실용적인 몇 가지에 있다. 지연이 안정적이고, 네트워크 없이도 쓸 수 있고, 데이터가 기기 밖으로 나가지 않는다. 사내 도구, 의료나 산업 점검, 교육 하드웨어를 만드는 사람에게는 뒤의 두 가지가 벤치마크 점수 몇 개보다 더 중요한 경우가 많다.

격차도 분명히 봐야 한다. 35B-A3B는 추론마다 30억 파라미터를 활성화하므로 성능은 대략 중소형 모델 구간에 머물고, 최상위 폐쇄형 모델과는 여전히 다른 이야기다. 엣지에서의 무손실 실행이 해결하는 것은 “돌아간다”이지 “가장 잘 돌아간다”가 아니다. 오프라인으로 쓸 수 있고, 사적이며, 언제든 대기하는 비서로 보면 기대치가 더 정확해진다.

마지막으로

지난 1년간 대형 모델 경쟁의 주 전장은 파라미터와 순위표였다. 그런데 파라미터 전쟁이 어느 정도까지 치닫자 “사용자 손안의 기기에 들어갈 수 있는가”가 새로운 분수령이 되기 시작했다. MiniCPM-V4.7이 흥미로운 점은 또 어떤 점수를 갱신한 것이 아니라, “엣지에서 MoE 돌리기”를 구호에서 재현 가능한 엔지니어링 방안으로 밀어 올린 것이다.

엣지의 상상력은 클라우드를 복제하는 데 있지 않다. 클라우드가 닿지 못하는 구석, 지하의 데이터센터, 신호가 없는 산속, 그리고 업무 자료를 다른 곳에 올리고 싶지 않은 평범한 현장에 있다. 이런 장면은 화제가 되지 않겠지만, 바로 그것이 엣지 모델의 진짜 시장이다.