실제 편집 200건, 0.27점 차이: 이미지 벤치마크는 무엇을 재는가

세 개의 숫자, 세 가지 다른 주장

새 이미지 모델이 나오면 그래프가 붙은 보도자료를 받는다. 그래프에서는 보통 새 모델이 맨 위에 있고, 정렬 기준은 벤더가 고른 지표, 측정은 벤더가 만든 데이터셋이다. 업계 모두가 이걸 알면서도 그 그래프를 인용한다. 첫날에 인용할 다른 게 없기 때문이다.

이번 달 가장 선명한 예는 10월 15일 Black Forest Labs가 내놓은 FLUX 3 Image Klein, 5.6B 오픈 웨이트다. 일주일 안에 세 갈래 숫자가 돌았고, 서로 어긋나는 방식 자체가 시사하는 바가 컸다.

벤더의 Elo 수치: 오픈 웨이트 모델 가운데 텍스트 to 이미지, 멀티 레퍼런스 생성, 이미지 편집 세 부문 1위. 더 큰 경쟁자들을 앞섰다. 자사 FLUX.2 klein 9B와 비교하면 텍스트 to 이미지에서 91 Elo, 편집에서 70 Elo 올랐고 파라미터는 38% 적다.

벤더의 지연 시간 수치: 1메가픽셀 기준 API 지연 중앙값이 텍스트 to 이미지 4.54초, 편집 7.18초로 이름을 언급한 경쟁사 네 곳보다 빨랐다. 방법론 주석에는 이런 단서가 붙는다. 새 모델은 BFL 자체 서버에서 쟀고 나머지는 클라이언트에서 쟀으며 폴링과 네트워크 시간이 포함됐다. 경쟁사 한 곳은 large가 아니라 medium 등급으로 측정됐다.

제3자 블라인드 테스트: 실제 편집 작업 200건, Klein 6.93, Nano Banana 2.1 7.20. 10점 만점에 0.27점 차이다. 같은 테스트에서 Klein이 포즈 조정과 다중 이미지 합성에 약하다는 점도 드러났다. 이미지 한 장당 비용은 경쟁사의 약 5분의 1.

이 숫자 중 거짓말은 없다. 서로 다른 질문에 답하고 있을 뿐이고, 혼란은 이걸 같은 질문으로 취급하는 데서 온다.

Elo가 알려주는 것과 알려주지 못하는 것

Elo는 선호 점수다. 두 결과물을 사람에게 보여주고 어느 쪽이 나은지 물었을 때 한쪽이 더 자주 선택됐다는 뜻이다. 이건 실제 측정이고, "이게 더 좋아 보이는가"라는 질문에는 맞는 측정이다.

다만 뚜렷한 사각지대가 있다. 작업 맥락을 뭉개버린다는 점이다. 어떤 모델이 Elo 평균에서 이기면서, 정작 당신이 필요로 하는 그 한 가지 일에서는 크게 질 수 있다. 하는 일이 흰 배경 제품 컷, 포즈 변경, 참조 이미지 세 장을 하나의 일관된 장면으로 합성하는 것이라면 그 평균은 당신의 평균이 아니다.

블라인드 테스트에서 가장 쓸모 있는 발견은 점수가 아니라 실패 방식이다. 실제 편집 작업 200건에서 반복된 오류는 포즈와 다중 참조 합성에 몰렸다. 레이아웃 구조가 도움이 되어야 할 바로 그 작업들이다. "0.27점 뒤진다"보다 훨씬 실행 가능한 문장이다. 어떤 작업을 다른 곳으로 돌려야 하는지 알려주니까.

규모 문제도 솔직히 짚자. 10점 만점 사람 평가에서 6.93 대 7.20은 작은 차이다. 테스트 세트에 어떤 이미지가 들어갔는지, 평가자 취향이 어떤지에 따라 순위가 뒤집힐 수 있는 구간 안에 충분히 들어 있다. 그 정도 차이는 단서이지 판결이 아니다.

모두가 건너뛰는 칸, 비용

헤드라인에 들어갔어야 할 숫자는 이거다. 이미지 한 장당 비용이 5분의 1.

모델 A가 4% 더 좋고 5배 비싸다면, 대부분의 워크플로에서 정답은 "A를 쓴다"가 아니다. "쉬운 80% 프레임은 B, 어려운 20%는 A"다. 이건 타협이 아니다. 제작 현장은 늘 이렇게 돌아갔다. 모든 프레임을 가장 비싼 필름으로 찍는 사람은 없다.

비용은 행동도 바꾼다. 5분의 1 가격의 모델은 실험해볼 여유가 있는 모델이다. 한 가지 안 대신 다섯 가지 안, 망가진 손 한 번 더, 배경 한 번 더. 반복 횟수는 벤치마크에 절대 나오지 않는 품질 레버이고, 싼 모델이 점수 이상으로 실전에서 자주 이기는 주된 이유다.

같은 패턴이 API 시장 데이터에도 나온다. Vercel의 10월 게이트웨이 지수에서 값싼 오픈 웨이트 모델 하나가 9월 토큰의 절반 가까이를 처리하면서 지출은 3% 미만이었다. 물량은 가격을 따라가고, 몇 퍼센트의 품질 차이는 예산과 맞닥뜨리면 좀처럼 살아남지 못한다.

벤더 수치가 여전히 중요한 곳

그렇다고 공식 벤치마크가 무가치하다는 뜻은 아니다. 두 가지 주장은 구조적으로 쓸모가 있다.

파라미터 효율 주장, 즉 38% 적은 파라미터로 더 높은 점수는 반증 가능하고 방향성 면에서 중요하다. 품질만이 아니라 배포를 예측하기 때문이다. 5.6B 이미지 백본에 4B 텍스트 인코더, 여기에 선택형 9B 프롬프트 업샘플러를 붙인 것은 5.6B 시스템과 같지 않다. 작은 모델이 좋은 프롬프트를 쓰는 데 언어 모델의 도움을 받아야 한다는 사실 자체가 하나의 발견이다. 짧은 프롬프트는 평범한 결과를 낳는다. 각주로 위장한 배포 제약이다.

지연 시간 주장도 쓸모가 있다. 방법론이 홈팀에 유리하더라도. 1메가픽셀에서 4~7초는 로컬에서 돌릴 수 있는 모델의 경우, 인터랙티브 도구가 정말 인터랙티브하게 느껴지는지를 결정하는 숫자다. 사용자가 박스를 끌어다 놓고 기다리는 UI를 만든다면 바로 이 숫자가 중요하고, 이건 어떤 Elo 차트에도 없다.

다음 출시를 읽는 법

질문은 네 개, 이 순서로. 차트는 대부분 건너뛰어도 된다.

테스트 세트는 누가 만들었나? 벤더가 만들었다면 데모로 취급하라. 측정으로 취급하지 마라.

블라인드였고 제3자였나? 모델 정체를 숨긴 실제 작업 200건이 벤더 자체 비교 1만 건보다 값지다.

무엇에 실패했나? 실패 방식이 곧 제품 결정이다. "포즈 변경에 약함"은 어디에 쓰지 말아야 하는지를 알려준다.

비용은 얼마인가? 비교 전에 모든 점수를 가격으로 정규화하라. 재시도 비용도 모델 비용의 일부라는 걸 기억하고.

차트에서 이기는 모델과 당신의 파이프라인에서 이기는 모델은 자주 다르고, 그 둘 사이의 간격은 대개 아무도 스크린샷 찍지 않는 칸에 있다.

조용한 결론

오픈 웨이트 이미지 모델은 경쟁할 수 있느냐가 더 이상 쟁점이 아닐 만큼 좋아졌다. 200건 블라인드 테스트에서 5.6B 오픈 모델은 클로즈드 경쟁자에 0.3점 이내로 붙었고 가격은 5분의 1이었다. 어긋난 것은 전체 역량이 아니라 특정 작업 유형이었다.

성숙한 시장이 성숙한 시장답게 움직인다. 단일 승자는 없고, 작업별로 라우팅하며, 비용 칸이 어떤 벤치마크보다 많은 배포를 결정한다. 벤더 차트는 매달 계속 나올 것이다. 쓸모 있는 능력은 지금 보고 있는 게 세 숫자 중 어느 것인지 아는 것이다.