인터랙티브 영상 생성에도 시험이 생겼다, 다만 총점은 주지 않는다

StreamEval은 10월 15일 등장해 인터랙티브 스트리밍 영상 생성을 위한 첫 벤치마크라고 소개한다. 평가하는 세션은 15초에서 300초이고, 측정 단위는 세션이다. 사람이 계속 말을 거는 동안 시스템이 어떻게 행동하는가.
이 구분이 벤치마크의 존재 이유이고, 분명히 적어 둘 만하다. 지난 1년간 읽은 영상 모델 비교는 거의 전부 5초나 10초 출력을 프롬프트에 견줘 점수를 매긴 것이었다. 스트리밍 계열은 다른 일을 한다. 생성 도중에 새 지시를 받고, 그 지시를 넘나들며 장면을 일관되게 유지하고, 프레임이 아니라 분 단위로 정체성을 붙든다.
다섯 개 과제, 서로 다른 다섯 가지가 영상이라 불리기 때문
벤치마크는 실패하는 이유가 각기 다른 과제로 나뉜다.
디지털 휴먼 대화는 초상과 페르소나, 사용자의 발화나 텍스트 턴을 주고 품질, 음성·영상 동기화, 안정성, 대화, 정체성을 채점한다.
아바타 연기는 초상과 연기할 대본을 주고 실시간 지시로 연기하게 하며 품질, 동기화, 안정성, 지시 준수, 정체성을 채점한다. 첫 과제와의 차이는 사용자가 대화를 나누는 게 아니라 연기를 연출한다는 점이다.
세계 생성은 시작 프롬프트나 이미지를 받은 뒤 실시간 프롬프트와 카메라 조작을 받고, 품질, 안정성, 지시 준수, 연속성, 그리고 입력이 이미지였을 때는 참조 지표까지 채점한다.
지시 편집은 실시간 소스 영상과 텍스트 편집 지시를 넣고 품질, 안정성, 지시 준수, 편집 성공률, 보존을 채점한다.
참조 편집은 실시간 소스 영상에 적용·패치·삭제·리셋용 참조 이미지를 더해 넣고, 대화 지표를 참조 지표로 바꾼다.
지표는 0에서 100으로 채점한다. 과제의 종합 값은 해당 과제에 적용되는 지표의 동일 가중 평균이다. 그리고 설계 전체를 읽히게 만드는 문장이 이어진다. 과제는 결코 하나의 총점으로 합쳐지지 않는다.

리더보드에서 빠진 열이 핵심이다
단일 숫자를 내놓는 벤치마크는 언젠가 그 숫자에 맞춰 공략된다. 총점이 하나인 영상 벤치마크는 팀에게 품질과 안정성, 연속성과 지시 준수를 가중치가 우연히 선호하는 비율로 맞바꾸게 만든다. 아무도 그 거래를 선언할 필요가 없다. 점수에 나타날 뿐이다.
합치기를 거부함으로써 StreamEval은 그 거래를 공개된 자리로 끌어낸다. 대화는 완벽한데 40초 뒤부터 흐르는 시스템은 대화 점수와 안정성 점수로 나타나고, 읽는 사람이 어느 쪽이 필요한지 판단해야 한다.
비용이 따르는 방법론적 선택이다. 다섯 열짜리 표는 순위 목록보다 스크린샷으로 남기기 어렵고 출시 글을 쓰기도 어렵다. 저장소는 그 비용을 의도적으로 떠안았고, 이유는 논문(arXiv 2610.28402)에 있다.
완전 공개, 해시까지
두 번째 설계 결정은 전부 공개한다는 것이다. 벤치마크 데이터, 평가 코드, 프로토콜, 채점 규칙 모두 공개한다. 데이터셋은 Hugging Face와 ModelScope에 미러링되는데, 지역 차단 너머에서 벤치마크를 받아 본 적이 있다면 중요한 부분이다.
전체 세트는 `benchmark/v1/full`에 있다. 각 조건 세트 폴더에는 파일 세 개가 들어간다. 입력 타임라인을 담은 `cases.jsonl`, 판정자만 보는 기대 결과를 담은 `oracles.jsonl`, 미디어 경로와 SHA-256 해시를 담은 `manifest.json`.
이 세 파일이 설명하는 벤치마크는 믿는 대상이 아니라 다시 돌리고 감사할 수 있는 대상이다. 오라클 분리는 판정자가 답안을 보고 모델은 보지 않는다는 뜻이다. 해시는 실행 사이에 미디어를 바꿔치기할 수 없다는 뜻이다. 둘 다 새롭지 않고, 둘 다 공개된 평가에서 흔히 빠져 있다.
판정 모델이 루프 안에 있다, 그것도 설계다
열 개 지표의 대부분은 측정이 아니라 판정이다. 음성·영상 동기화는 계산할 수 있지만 품질과 지시 준수는 계산할 수 없어서, 모델이 출력을 읽고 점수를 매긴다.
이제 표준 관행이고 알려진 실패를 동반한다. 판정 모델은 선호를 갖고, 같은 판정자에 맞춰 조정된 시스템은 대신하려던 품질이 아니라 그 선호를 학습한다. `oracles.jsonl` 분리가 완화책이다. 판정자가 기대 결과를 보므로, 답하는 질문이 '이게 좋은가'보다 '이게 의도에 맞는가'에 가까워진다.
비용은 벤치마크가 관객 반응이 아니라 판정된 준수를 측정한다는 점이다. 연구용 하네스에는 옳은 거래다. 준수는 검증할 수 있고 관객 반응은 검증할 수 없으니까. 제품 팀이 벤더를 고를 때는, 지시 준수 점수가 높다는 것이 시스템이 시킨 대로 한다는 증거일 뿐 시킨 일이 할 만한 일이었는지에 대해서는 아무 말도 하지 않는다.
돌리는 데 드는 비용은 없다
빠른 시작은 첫 실행에 API 키도, GPU도, 벤치마크 다운로드도 필요 없도록 의도적으로 짜였다. 리눅스나 macOS에서 Python 3.10 이상:
git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke
마지막 줄이 미디어를 스스로 만든다. 그다음:
streameval run --model streameval.models.mock:MockModel --track instruction_edit \
--case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt
합성 미디어 위의 목 모델이 끝에서 끝까지 도는 파이프라인을 만든다. 평가 하네스를 내놓는 옳은 방식이다. 돈을 쓰기 전에 판정자 설정이 틀렸다는 것을 알게 되고, 그것도 재현 가능한 데이터에서 알게 된다.
매월 업데이트는 이 분야에 대한 발언
README는 리더보드가 새 모델과 갱신된 모델을 매달 평가할 것이라고 밝힌다.
안정된 과제의 벤치마크라면 그 주기는 이상하다. 인터랙티브 영상이라면 유일하게 정직한 선택이다. 지난주와 그 전 주의 OpenRouter 영상 리더보드 사이에 구성이 바뀌었다. Avatar IV가 톱10에 들어왔고 mischief 1이 빠졌으며, 알리바바의 영상 요청 점유율은 절반 이상 떨어졌다. 새 시스템은 연간 벤치마크가 흡수할 수 있는 속도보다 빨리 온다.
매월 갱신의 비용은 비교 가능성이다. 하네스가 바뀌면 옛 점수의 의미가 줄어든다. 바뀌지 않으면 새 모델 부류를 그보다 앞선 프로토콜로 재게 된다. 저장소의 답은 해시가 붙은 버전별 벤치마크 폴더이고, 같은 v1 세트를 계속 평가하면서 옆에 새 과제를 더할 수 있게 한다.
숫자가 여전히 말해주지 않는 것
StreamEval이 재는 것과 제작 팀이 필요로 하는 것 사이에는 간격이 있고, 이름을 붙일 만하다.
벤치마크는 정체성 일관성, 동기화, 안정성, 지시 준수를 채점한다. 결과물이 볼 만한지 여부는 채점하지 않는다. 얼굴을 5분 유지하고 모든 지시를 따르면서 아무도 공개하지 않을 것을 만들 수 있다. 품질은 지표 목록에 있지만 다섯 중 하나이고, 영상 벤치마크에서의 품질은 여전히 판정 모델의 의견이다.
다른 간격은 비용이다. 300초 세션은 5초 클립과 다른 경제적 대상이고, 벤치마크는 지연과 초당 가격에 침묵한다. 인터랙티브 시스템에서는 그것이 제품 출시 여부를 가르는 제약인 경우가 많다.
두 간격 모두 작업의 결함은 아니다. 첫 벤치마크는 측정이 없던 것을 재야 한다. 인터랙티브 스트리밍 영상에는 아무 측정도 없었다. 흥미로운 질문은 세 번의 월간 갱신 뒤 리더보드가 어떻게 보일지다. 같은 다섯 과제가 이미 두 번 움직인 분야에 적용된 뒤에.