27B 모델을 가중치당 2비트로 압축하다
Underdog AI가 Saluki 27B를 공개했다. Qwen 3.8 27B를 가중치당 2비트로 압축해 파일은 약 7.89GB에 불과하지만 성능 대부분을 유지했고, 도구 호출에서는 풀사이즈를 앞질렀다.
← 전체 글
카테고리
Ai
332 articles
실무에서 배운 오픈 코딩 모델
JetBrains가 Mellum2.1을 공개했다. 120억 파라미터 mixture-of-experts 코딩 모델로, 실제 저장소의 강화학습으로 사후 학습을 마쳤다.
방 안에서 가장 싼 모델이야말로 주목해야 할 모델이다
Anthropic이 Claude Haiku 5.5를 공개했고, 운영 비용은 Haiku 4.5보다 약 75퍼센트 낮다. 저렴한 계층이 사실상 무료가 되면, 제품이 무엇을 할 수 있는지를 결정하는 것은 그 계층이 된다.
답변이 인터페이스가 될 때: GPT-6과 Intelligent UI
OpenAI는 10월 초 GPT-6를 전체 사용자에게 배포했고, 약 12억 명이 동시에 새 기본 모델을 받았다. 핵심 기능인 Intelligent UI는 답을 상호작용 부품으로 조립한다.
Meta, 첫 프런티어 모델 공개, 승부수는 기억
Meta가 첫 프런티어급 모델 Muse Wonder와 Muse Wonder Full을 공개했다. Active Memory와 Active Focus를 앞세워 대화를 넘나드는 기억과 장기적 집중을 핵심으로 내세운다.
스마트폰 한 대로 350억 파라미터, Demo에서 일상으로
面壁智能이 MiniCPM-V4.7을 발표했다. 35B-A3B MoE를 엣지에서 구동하며 LES 선행 스케줄링으로 메모리를 약 3GB로 줄여 iPad Pro에서 15 token/s 이상을 낸다.
harness에 종속되지 않는 에이전트: 어떤 프런티어 모델이든 내 기계에서 실행하기
모델이 지능이고 harness는 배관이며, 둘이 같은 패키지에 있을 필요는 없다. 오픈소스 프로젝트들이 이 결합을 풀어, 좋아하는 인터페이스로 어떤 프런티어 모델이든 돌리고 접근은 기본적으로 로컬에 둔다.
1비트면 충분하다: 마이크로소프트 BitNet이 계속 사랑받는 이유
1비트 가중치는 요기가 아니다. 마이크로소프트 BitNet의 삼진 방식이 곱셈을 덧셈으로 바꿔 대형 모델을 평범한 CPU에서 돌리는 원리와 그 진짜 대가를 살펴본다.
AI 영상의 새 규칙서: EU AI법이 요구하는 기계 판독 라벨
EU AI법 제50조는 AI 영상의 출처 메타데이터를 준법 문제로 만들었다. 라벨은 생성 시점에 심어지고 파이프라인에서 잃기 쉽다.
당신의 AI 에이전트는 모든 걸 잊는다: 컨텍스트 비대를 고치는 MCP 기법
에이전트는 오래 돌수록 똑똑해지는 게 아니라 컨텍스트 윈도우가 쓰레기로 차서 둔해진다. 도구 출력 sandboxing부터 영속 메모리, routing까지, 이 프로젝트들이 에이전트의 기억을 고치고 있다.
Google, 모든 Veo 엔드포인트를 퇴역시킨다: 10월 22일 동영상 전면 개편의 내막
Google은 2026년 10월 22일 Gemini API의 모든 Veo 엔드포인트(veo-3.1-lite-generate-preview 포함)를 종료하고, 토큰 과금 방식의 gemini-omni-1.1-flash로 대체한다.
4GB GPU로 2.8조 파라미터: AirLLM이 VRAM의 벽을 깬 방법
4GB GPU에 2.8조 파라미터라니, 오타처럼 들린다. AirLLM의 착상은 모델을 작게 만드는 것이 아니라 한 번에 전부를 메모리에 올리려는 시도를 멈추는 것이다. 층별로 디스크에서 읽고 쓰고 나면 놓아준다. 대가는 속도, 그 대가로 애초에 담기지 않았어야 할 모델이 돌아간다.