← 블로그로
Ai약 12 분 읽기

1.6B 모델이 이미지를 토큰으로 변환하는 것을 멈췄고, 그렇게 하는 아키텍처를 이겼다

게시일 2026년 11월 7일
1.6B 모델이 이미지를 토큰으로 변환하는 것을 멈췄고, 그렇게 하는 아키텍처를 이겼다

HUST(화중과학기술대학)의 한 팀이 Horizon Robotics와 함께 이번 달, 기존의 두 갈래 중 어느 쪽도 가지 않는 멀티모달 아키텍처에 관한 논문을 발표했습니다. 모델 이름은 MF-1입니다. 1.6B 파라미터를 가지고 1500억 토큰으로 처음부터 학습되었으며, 동일한 데이터와 연산 예산으로 진행한 통제 비교에서 두 기존 접근을 모두 앞섰습니다.

이 결과에서 중요한 것은 벤치마크 숫자보다, 현재 멀티모달 학습의 얼마만큼이 아키텍처 때문에 낭비되고 있는가라는 점입니다.

두 갈래의 길과 각각의 비용

몇 년 동안 언어와 이미지를 같은 모델에 넣는 방법은 두 가지였습니다.

Chameleon과 Emu3가 택한 완전 이산 경로는 이미지를 이산 토큰으로 양자화해 모든 것을 하나의 긴 정수 시퀀스와 하나의 자기회귀 목적으로 만듭니다. 우아하지만 단단한 천장이 있습니다. 시각 tokenizer가 양자화 과정에서 고주파 디테일을 버립니다. 미세한 질감, 작은 글자, 미묘한 그라디언트는 모델이 보기도 전에 평평해집니다. tokenizer를 더 좋게 만들 수는 있고 실제로 그렇게 해왔지만, 천장은 구조적입니다.

Transfusion과 JanusFlow가 택한 하이브리드 경로는 텍스트를 이산으로, 이미지를 연속으로 유지합니다. 텍스트는 next-token prediction을 거칩니다. 이미지는 확산 과정을 거칩니다. 이렇게 하면 양자화 병목은 완전히 피하지만 다른 문제가 생깁니다. 모델이 두 개의 목적 함수와 두 개의 샘플링 파이프라인을 유지해야 하고, 이들을 공동으로 최적화하는 일은 연구 질문이 아니라 엔지니어링 프로젝트가 됩니다. 모든 ablation이 두 배로 비싸집니다.

두 경로 모두 하나의 모달리티를 다른 쪽의 형식으로 번역하는 일을 포함합니다. Multimodal Flow가 거부하는 것이 바로 그 타협입니다.

하나의 목적, 두 개의 네이티브 형식

이 설계는 언어를 자신의 연속 임베딩 공간에, 이미지를 자신의 공간에 둔 채, 둘 모두에 하나의 Flow Matching 목적을 공유합니다.

옅은 파란색과 따뜻한 모래색의 고운 가루 두 줄기가 나란히 떨어지며 서로 얽히기 시작하는 모습.

구체적으로, 텍스트는 여덟 토큰 단위 청크로 나뉘고, 각 청크는 동결된 T5-small에 의해 연속적인 text hyperchunk로 인코딩됩니다. 이미지는 동결된 SigLIP2 인코더를 지나 16 곱하기 16 공간 그리드로 나오며 visual hyperchunk를 이룹니다. hyperchunk는 작업이 요구하는 순서대로 하나의 시퀀스로 이어져 공유 Chunk-Causal Flow backbone에 들어갑니다.

어텐션 마스크가 영리한 부분입니다. k번째 hyperchunk를 예측할 때, 그 이전의 모든 hyperchunk는 완전히 보이고, 현재 청크 내부의 위치들은 함께 모델링되며, 이후 청크는 마스킹됩니다. 인과성은 청크 단위로 유지되고, 정보는 청크 안에서 자유롭게 흐릅니다. 256셀짜리 시각 hyperchunk가 256개의 독립적인 결정이 아니라 일관된 하나의 이미지로 생성되는 이유입니다.

두 번째 설계 선택은 transformer 내부의 하이브리드입니다. 어텐션 층은 공유되어 언어와 시각이 서로를 주시할 수 있습니다. FFN 층은 모달리티별로 남습니다. 둘의 표현 통계가 충분히 달라서 하나의 피드포워드 블록으로 밀어 넣으면 손해가 나기 때문입니다. 논문의 ablation이 이를 확인한다고 하며, 이런 디테일이 다른 모두의 석 달을 아껴줍니다.

텍스트 청크는 여덟 토큰 길이이고, 이는 의도된 타협입니다. 더 작은 청크는 더 세밀한 제어와 더 많은 시퀀스 위치를 줍니다. 더 큰 청크는 인과 마스크를 더 싸게 만듭니다. 여덟이 트레이드오프가 착지한 지점입니다.

숫자

텍스트에서 이미지로: GenEval 종합 0.821, DPG-Bench 긴 프롬프트 정합성 83.44. GenEval의 카운팅 하위 과제에서 MF-1은 0.73을 기록했고, 같은 규모의 통합 모델들을 크게 앞섭니다. 카운팅은 통합 아키텍처의 골칫거리였습니다. 숫자를 여러 인스턴스에 묶어야 하고, 시각 청크를 함께 모델링하는 것이 도움이 되는 것으로 드러났기 때문입니다.

이해: VQAv2 72.6, MMBench 67.2, POPE 86.1, 평균 75.3. 이 평균은 사전학습 언어 모델에서 초기화한 같은 크기 모델 일부를 앞섭니다. 이게 의외인 부분입니다. 사전학습 LLM에서 시작하는 것은 보통 공짜 성능이니까요.

이 논문을 읽을 만하게 만드는 것은 통제 비교 부분입니다. 같은 데이터, 같은 파라미터 예산, 같은 옵티마이저로, Multimodal Flow는 GenEval, GQA, VQAv2, MMBench 모두에서 Transfusion식 하이브리드와 Chameleon식 이산 아키텍처를 앞섭니다. 한 벤치마크에서 1점 앞서는 것이 아닙니다. 세트 전체에서 그렇습니다.

왜 카운팅이 중요한 시험인가

GenEval의 모든 하위 과제 중에서 카운팅은 아키텍처를 가장 깔끔하게 갈라놓는 과제입니다.

빨간 사과 세 개를 요구하는 것은 동시에 두 가지를 요구합니다. 숫자 셋을 표현해야 하고, 그 숫자를 서로 다른 세 개의 객체 인스턴스에 묶어야 하며, 각각은 빨갛고 사과 모양이어야 합니다. 이산 토큰 모델은 둘이나 넷을 내놓는 경향이 있습니다. 확산 모델은 그럴듯한 덩어리를 내놓고 아무도 세지 않기를 바라는 경향이 있습니다. 하이브리드 시스템은 이미지 쪽이 연속이라 더 가깝게 가지만, 텍스트 쪽은 여전히 넘겨주는 과정을 견디는 기수를 건네야 합니다.

그 하위 과제에서 MF-1이 0.73을 받은 것은 종합 0.821보다 더 큰 의미가 있습니다. 종합 수치는 색과 단순한 객체에 관한 쉬운 프롬프트가 일부 떠받치고 있기 때문입니다.

왜 1500억 토큰이 진짜 주장인가

최전선 멀티모달 모델은 조 단위 토큰으로 학습됩니다. MF-1은 1500억, 1.6B 파라미터로 GenEval 0.821에 도달했습니다.

이것이 확장된다면 하나의 가정이 바뀝니다. 현재 통설은 통합 멀티모달 모델이 두 모달리티를 잘 배우려면 막대한 데이터가 필요해 비싸다는 것입니다. 이 논문은 그 비용의 상당 부분이 타협의 대가를 아키텍처가 치른 것이라고 시사합니다. 이미지 양자화는 품질을 잃게 하니 더 많은 데이터로 되삽니다. 두 목적을 유지하는 것은 최적화 효율을 잃게 하니 더 많은 연산으로 되삽니다.

타협을 없애면 같은 예산이 더 멀리 갑니다. 이것이 100억이나 1000억 파라미터에서도 성립하는지는 답이 없고, 논문도 그렇게 주장하지 않습니다. 팀은 이것이 하나의 규모, 하나의 데이터 혼합이라고 분명히 말합니다.

올해 다른 연구와 연결되는 이차적 함의도 있습니다. 별도의 연구 흐름은 이미지 생성에서 VAE를 완전히 제거하려 해왔습니다. 이미지를 잠재로 압축했다가 다시 꺼내면 아무도 잃으라고 하지 않은 정보가 사라지기 때문입니다. Multimodal Flow는 인코더를 유지하되 그 출력을 언어 같은 토큰으로 다시 표현해야 하는 것으로 취급하지 않습니다. 시각 hyperchunk는 끝까지 시각으로 남습니다. 같은 직관입니다.

이것이 해결하지 않는 것

세 가지 한계를 짚어둡니다.

인코더는 동결되어 있습니다. T5-small과 SigLIP2는 flow backbone과 함께 학습되지 않았고, 표현 품질의 천장은 다른 곳에서 정해집니다. 함께 학습한 인코더라면 아마 더 나을 것이고, 훨씬 더 비쌀 것입니다.

이미지 해상도는 잠재 그리드 기준 16 곱하기 16으로, GenEval에는 충분하고 텍스트 렌더링이나 미세한 디테일이 관련된 무엇에도 불충분합니다. 고해상도에서의 생성 품질은 이 논문의 주제가 아닙니다.

그리고 이것은 연구 산출물입니다. 코드는 GitHub의 hustvl/Multimodal-Flow에 있고, 가중치는 제품이 아니라 출발점이며, 호스팅 API는 없습니다. 다음 주에 이것으로 이미지 파이프라인을 바꿀 사람은 없습니다.

이것이 하는 일은 가능한 미래의 공간을 좁히는 것입니다. 1.6B의 완전 연속 모델이 같은 예산으로 두 확립된 통합 아키텍처를 이길 수 있다면, 다음 멀티모달 기반 모델에는 6개월 전 논의에는 없던 세 번째 설계 선택지가 생깁니다. tokenizer를 두고 많은 연산을 들여 논쟁해온 분야에, 그것은 테이블 위에 올려둘 만한 물건입니다.

관련 글