애니메 모델이 막대 인간을 읽게 됐다, 0.37에서 0.83까지의 격차가 핵심이다

11월 2일, Anima-Control-Pose라는 저장소가 공개됐다. 애니메 이미지 모델용 포즈 가이드의 프리뷰 빌드다. 참조 사진을 넣으면 함께 들어 있는 검출기가 인물 위에 골격을 그리고, 캐릭터가 그 골격을 따라간다.
릴리스 노트는 짧고, 대신 안 되는 부분을 유난히 구체적으로 적어 놨다. 달리기, 점프, 앉기 포즈가 가장 불안정하다. 손은 여전히 뭉갠다. 검출기는 사진으로 학습했기 때문에 애니메 그림은 잘 읽지 못한다.
마지막 문장이야말로 작성자가 이 도구를 실제로 써 봤다는 증거다.
포즈 제어는 무엇을 위한 것이고, 애니메에는 왜 따로 필요한가
포즈 컨디셔닝은 범용 이미지 생성에서는 이미 해결된 문제다. 골격 오버레이, 깊이 맵, 에지 맵 같은 제어 입력은 몇 년 전부터 표준이었고, 범용 모델도 인물 사진 정도는 그럭저럭 처리한다.
애니메는 다른 문제다. 비율부터가 양식화돼 있다. 머리는 크고 팔다리는 가늘고, 손은 촬영된 형상이 아니라 깔끔한 다섯 개의 선으로 그려진다. 사진으로 학습한 검출기가 만화 한 컷을 보면, 몸통은 대충 맞고 나머지는 다 틀린 골격을 내놓는다. 검출기가 기대는 단서, 관절의 볼록함과 피부 음영이 거기에는 없기 때문이다.
그래서 애니메 파이프라인에는 두 가지가 동시에 필요해진다. 모델이 따라갈 수 있는 제어 신호, 그리고 그 신호를 작가가 실제로 가진 것에서 끌어내는 방법이다. 작가가 가진 것은 대개 러프 스케치, 참조 사진, 혹은 대충 잡은 인체다.
Anima-Control-Pose는 후자의 길을 택했다. 사진이 들어가고, 골격이 나오고, 캐릭터가 따라간다. 포즈 참조 사진을 가진 일러스트레이터가 실제로 원하는 흐름이 이것이고, 이 도구가 존재하는 이유도 그것이다.
그 숫자와, 그 숫자가 재는 것
작성자의 설명에 따르면 1024 픽셀에서 포즈 정확도가 애드온 없이 약 0.37에서 애드온을 붙이면 약 0.83으로 올라간다. 512와 768에서는 향상 폭이 더 작다.
이 숫자에서 갈라 놓고 봐야 할 지점이 세 가지다.
첫째, 작성자 자신의 지표이고 작성자 자신의 평가 세트에서 잰 값이다. 제3자 검증도, 표준 벤치마크도, 어떤 포즈가 정확한지에 대한 규약도 없다. 방향을 보여 주는 숫자로, 애드온이 상당한 일을 한다는 증거로는 쓸 수 있다. 하지만 공개된 벤치마크 수치와 나란히 비교할 수는 없다.
둘째, 해상도 의존성은 구조상 말이 된다. 캐릭터가 차지하는 픽셀이 줄면 골격 추출과 포즈 준수 모두 나빠지고, 512 픽셀 애니메 생성은 제어 레이어에 늘 어려운 경우였다. 거기서 향상 폭이 줄어드는 것은 한계이지 각주가 아니다.
셋째, 0.37과 0.83 사이의 격차가 더 흥미로운 절반이다. 포즈 준수가 0.37인 모델도 못 쓸 물건은 아니다. 대략 맞는 자세에 팔다리가 옆에서 비슷한 동작을 하는 캐릭터를 내놓는 모델이다. 작가는 리롤로 그걸 견딘다. 0.83이 되면 리롤이 연출이 된다. 한 컷에 생성이 몇 번 드는지가 달라진다.
여전히 못 하는 세 가지
카드에 적혀 있으니 그대로 받아들일 만한 내용이다.
달리기, 점프, 앉기가 가장 불안정하다. 이유를 보자. 이 포즈들에는 자기 가림과 단축 원근, 그리고 보이지 않는 면과의 접촉이 얽혀 있다. 골격이 부호화하는 것은 관절 위치이고, 관절 위치는 몸이 접힐 때 정확히 가장 정보가 적다. 앉은 캐릭터의 고관절 각도는 막대 인간에서는 보이지 않는다.
손은 뭉갠다. 손은 생성 이미지에서 가장 오래된 실패이고, 그것을 고친 것이 포즈 컨디셔닝인 적은 없다. 검출기는 손목과 손가락 키포인트를 낮은 신뢰도로 내놓고, 모델은 손 비슷한 것을 그리고, 작가가 다시 그린다. 현업에서 돌아가는 모든 애니메 파이프라인에는 손 보정 단계가 있다. 이 도구가 그 단계를 없애지는 않는다.
검출기가 애니메 그림을 잘못 읽는다. 이게 구조적인 문제다. 사진을 잘 보는 것은 사진으로 학습했기 때문이다. 참조가 만화 컷이거나 러프 스케치거나 다른 AI 생성물이라면, 그려 내는 골격은 그럴듯해 보이면서 틀릴 수 있고, 틀린 골격은 자신 있게 틀린 캐릭터를 만든다.
세 번째 한계가 이 도구의 범위를 정한다. 파이프라인 맨 앞에서 현실 세계의 참조를 제어 신호로 바꾸는 자리이고, 애니메 이미지 두 장을 잇는 다리가 아니다.
0.37이라는 기준선은 베이스 모델에 대한 진술이기도 하고, 그렇게 읽을 만하다. 애드온 없이 골격을 따르라고 하면 애니메 모델은 포즈의 3분의 1쯤만 맞힌다. 일러스트레이터가 그걸 우회하려고 지금까지 해 온 모든 일, img2img를 한 번 돌리는 것부터 팔을 하나씩 인페인팅하는 것까지, 전부 그 숫자에서 나온다. 0.83으로 올리면 노동이 줄 뿐, 결과를 확인하는 단계가 없어지지는 않는다.
무엇이 나왔고, 쓰는 데 무엇이 드는가
패키지 구성은 소박하다. ComfyUI 노드 폴더 두 개, pose_control_demo.json을 입구로 하는 예제 워크플로 네 개, 그리고 약 316MB짜리 검출기.
유통 경로로 ComfyUI를 쓰는 건 이제 표준이고, 눈여겨볼 부작용이 있다. 워크플로 JSON은 문서이자 튜토리얼이고 재현성의 증빙이다. 파일을 열 수만 있으면 작성자가 쓴 모든 파라미터가 그대로 보인다. 대부분의 모델 공개가 결코 제공하지 않는 종류의 공개다. 덕분에 이 도구의 동작은 당신의 머신과 당신의 seed에서 재현된다. 0.83이라는 주장을 작성자 아닌 누군가가 검증할 수 있는 유일한 길이기도 하다.
가중치는 비상업용이다. 취미 커뮤니티가 큰 애니메 모델에서는 익숙한 방식이다. 팬아트를 그리는 사람에게는 무료, 그것을 파는 사람에게는 별도 라이선스. 스튜디오가 도입하려면 먼저 대화가 필요하다는 뜻이고, 정확도 숫자와 무관하게 대부분의 전문 사용자에게는 이게 결정적이다.
이번 공개가 보여 주는 패턴
애니메 생성은 2년 동안 하나의 스택으로 수렴해 왔다. 베이스 모델, 캐릭터 LoRA 묶음, 그리고 포즈와 선화, 구도에 대한 제어 레이어. 각 레이어는 저마다 다른 작성자가 내놓은 작은 공개이고, 대개 워크플로 파일과 실패 목록이 적힌 카드가 붙는다.
그 구조에는 비용이 있다. 레이어 간 호환성은 누구의 일도 아니고, 베이스 모델 업데이트 하나가 애드온 네 개를 한꺼번에 깨뜨릴 수 있다. 장점도 하나 있다. 시장에서 가장 정돈된 쪽이 계속 사려 해도 살 수 없는 것, 실패 목록이 공개된다는 점이다. 작성자가 곧 사용자이기 때문이다.
Anima-Control-Pose는 정직한 카드가 붙은 작은 공개다. 흥미로운 질문은 0.83이 좋은 수치인가가 아니다. 이 생태계가 계속 그 숫자를 공개할지, 아니면 다음 버전은 분모 없는 데모 영상만 들고 나올지다.
분모는 남겨 두자. 당신이 판단할 수 있게 해 주는 유일한 부분이다.
관련 글
중국산 안드로이드 시스템 UI의 광고를 끄는, 커뮤니티가 관리하는 탭 표
시스템을 건드리지 않고, 잠금 해제도, 플래싱도 하지 않는다. 제조사가 이미 열어 둔 스위치를 하나씩 뒤집을 뿐이다. 대가는 이 목록을 계속 써 줄 사람이 필요하다는 것이다.
GPT Image 2.6, 토큰 단가는 그대로 두고 청구서를 올렸다
GPT Image 2.6은 2.5의 토큰 단가를 하나도 바꾸지 않았는데 이미지 한 장 값은 올랐다. 작업의 상당 부분이 이제 출력 토큰에서 일어나기 때문이다. 출시 11일째, 가격 구조가 순위표보다 많은 것을 말한다.
IDM을 바깥에서 다시 만든 사람이 손대지 않은 부분을 적어 두었다
Mister Download Manager는 Internet Download Manager의 흐름을 Rust로 다시 구현해 5배 속도와 86개 언어를 내건다. 더 흥미로운 문서는 아무것도 복사하지 않고 어떻게 만들었는지 설명하는 문단이다.
Rune은 에이전트가 자기 작업을 검증할 수 있도록 만든 Rust UI 프레임워크
Rune은 헤드리스로 렌더링하고 요소 트리를 덤프하며 스크립트 입력을 받는다. 스크린샷으로는 얻을 수 없는, diff 가능한 신호를 코딩 에이전트에게 준다. 프레임워크는 프리릴리스이며 풀 리퀘스트를 받지 않는다.