
27B 모델을 가중치당 2비트로 압축하다
Underdog AI가 Saluki 27B를 공개했다. Qwen 3.8 27B를 가중치당 2비트로 압축해 파일은 약 7.89GB에 불과하지만 성능 대부분을 유지했고, 도구 호출에서는 풀사이즈를 앞질렀다.
생성형 AI에 대한 팁, 튜토리얼, 인사이트를 만나보세요

Underdog AI가 Saluki 27B를 공개했다. Qwen 3.8 27B를 가중치당 2비트로 압축해 파일은 약 7.89GB에 불과하지만 성능 대부분을 유지했고, 도구 호출에서는 풀사이즈를 앞질렀다.

JetBrains가 Mellum2.1을 공개했다. 120억 파라미터 mixture-of-experts 코딩 모델로, 실제 저장소의 강화학습으로 사후 학습을 마쳤다.

Anthropic이 Claude Haiku 5.5를 공개했고, 운영 비용은 Haiku 4.5보다 약 75퍼센트 낮다. 저렴한 계층이 사실상 무료가 되면, 제품이 무엇을 할 수 있는지를 결정하는 것은 그 계층이 된다.

OpenAI는 10월 초 GPT-6를 전체 사용자에게 배포했고, 약 12억 명이 동시에 새 기본 모델을 받았다. 핵심 기능인 Intelligent UI는 답을 상호작용 부품으로 조립한다.

Meta가 첫 프런티어급 모델 Muse Wonder와 Muse Wonder Full을 공개했다. Active Memory와 Active Focus를 앞세워 대화를 넘나드는 기억과 장기적 집중을 핵심으로 내세운다.

面壁智能이 MiniCPM-V4.7을 발표했다. 35B-A3B MoE를 엣지에서 구동하며 LES 선행 스케줄링으로 메모리를 약 3GB로 줄여 iPad Pro에서 15 token/s 이상을 낸다.

모델이 지능이고 harness는 배관이며, 둘이 같은 패키지에 있을 필요는 없다. 오픈소스 프로젝트들이 이 결합을 풀어, 좋아하는 인터페이스로 어떤 프런티어 모델이든 돌리고 접근은 기본적으로 로컬에 둔다.

1비트 가중치는 요기가 아니다. 마이크로소프트 BitNet의 삼진 방식이 곱셈을 덧셈으로 바꿔 대형 모델을 평범한 CPU에서 돌리는 원리와 그 진짜 대가를 살펴본다.

EU AI법 제50조는 AI 영상의 출처 메타데이터를 준법 문제로 만들었다. 라벨은 생성 시점에 심어지고 파이프라인에서 잃기 쉽다.

에이전트는 오래 돌수록 똑똑해지는 게 아니라 컨텍스트 윈도우가 쓰레기로 차서 둔해진다. 도구 출력 sandboxing부터 영속 메모리, routing까지, 이 프로젝트들이 에이전트의 기억을 고치고 있다.

Google은 2026년 10월 22일 Gemini API의 모든 Veo 엔드포인트(veo-3.1-lite-generate-preview 포함)를 종료하고, 토큰 과금 방식의 gemini-omni-1.1-flash로 대체한다.

4GB GPU에 2.8조 파라미터라니, 오타처럼 들린다. AirLLM의 착상은 모델을 작게 만드는 것이 아니라 한 번에 전부를 메모리에 올리려는 시도를 멈추는 것이다. 층별로 디스크에서 읽고 쓰고 나면 놓아준다. 대가는 속도, 그 대가로 애초에 담기지 않았어야 할 모델이 돌아간다.