動畫模型學會讀火柴人,0.37 到 0.83 這段差距才是重點

11 月 2 日,一個叫 Anima-Control-Pose 的儲存庫上線了,內容是給一個動畫影像模型用的姿勢引導工具,目前還是預覽版。用法很直接:你給它一張參考照片,它內建的偵測器會在照片裡的人身上畫出一套骨架,角色再照著這套骨架擺姿勢。
發布說明寫得很短,短得少見,而且難得地把不管用的地方講得很具體。跑、跳、坐這三種姿勢是最不可靠的。手到現在還是會糊在一起。偵測器是照著照片訓練的,所以它讀動畫圖讀得很吃力。
最後這一句,才是真正說明作者用過這個工具的那句話。
姿勢控制是幹什麼用的,動畫為什麼需要自己的一套
姿勢條件控制在一般影像生成裡,已經算得上是被解決過的問題。骨架疊圖、深度圖、邊緣圖這幾種控制輸入,成為標準做法已經有兩年多的時間,一般模型面對一張人物照片,還原度也還說得過去,不至於明顯走樣。
動畫是另一個問題。它的比例是風格化的:頭大、四肢細,手畫出來是五根乾淨的線,不是拍下來的那種幾何形狀。一個拿照片訓練出來的偵測器,看一格漫畫分鏡的時候,畫出的骨架在軀幹上大致是對的,其他地方幾乎全錯,因為它依賴的線索,關節處的鼓起、皮膚上的明暗,在動畫圖裡根本不存在。
所以一條動畫的生成流程,需要同時具備兩樣東西才行:一個模型跟得住的控制訊號,另一個是把這個訊號,從畫師手邊既有的東西裡推導出來的辦法,而畫師手邊通常只有一張草稿、一張參考照片,或是一個隨手畫出來的粗略人形。
Anima-Control-Pose 走的是間接那條路:照片進去,骨架出來,角色跟著走。插畫師手上有張姿勢參考照片的時候,真正想要的就是這套流程,這個工具存在的理由也在這裡。
這個數字,以及它到底量的是什麼
作者在說明裡給出的說法是,在 1024 像素下,姿勢準確率從沒裝這個附加元件時的 0.37 左右,提升到裝上之後的 0.83 左右。在 512 和 768 下,提升幅度小一些。
這個數字上面有三件事,值得分開來看。
第一,這個數字是作者自己的指標,跑在作者自己的評測集上。沒有第三方複核,沒有標準的基準測試,也沒有說清楚什麼樣的姿勢才算準確,評測協定是缺的。這個數字可以當方向看,也可以當證據,說明這個附加元件確實做了一件不小的事。但它沒辦法跟公開發表的基準數字放在一起比。
第二,這個結果對解析度的依賴,在機制上講得通。角色佔的像素變少,骨架萃取和姿勢貼合都會退化,而 512 像素的動畫生成一直是控制層最難處理的場景。提升幅度在那裡縮水,這是限制,不該當成註腳帶過。
第三,0.37 到 0.83 之間那段差距,才是更有意思的一半。姿勢貼合只有 0.37 的模型並不是不能用,它給出的是大致姿態對、四肢在旁邊做著有點相近動作的角色,畫師就靠反覆重骰來對付它。到了 0.83,重骰變成導演,一個鏡頭要花掉多少次生成,這個成本也跟著變了。
它還有三件事做不到
這三條都寫在模型卡上,而且值得照字面當真看待。
跑、跳、坐這三種最不可靠。值得想想為什麼。這些姿勢都牽涉到自我遮蔽、透視壓縮,還有和一塊看不見的表面的接觸。骨架編碼的是關節位置,而關節位置恰好是在身體摺起來的時候最不提供資訊。一個坐著的角色,髖關節的角度在火柴人身上根本看不見,骨架裡沒有這個資訊。
手會糊在一起。手是生成影像裡最老的毛病,而修它的從來不是姿勢條件控制。偵測器只能以很低的信心給出腕部和手指的關鍵點,模型畫出一個手的示意,畫師再重畫一遍。生產環境裡的每一條動畫流程,都留著一步修手。這個工具並沒有把這一步去掉。
偵測器會讀錯動畫圖。這一條是結構性的問題。這個工具看照片很準,因為它就是在照片上訓練的。如果你手上的參考圖是一格漫畫、一張草稿,或另一張 AI 生成的圖,它畫出來的骨架可能看起來合理,其實是錯的,而一個錯的骨架,會生出一個自信地錯著的角色。
第三條限制劃定了這個工具的範圍。它在整條流程裡站在最前面,負責把現實世界的參考轉成控制訊號,而不是兩張動畫圖之間的一座橋。
0.37 這個基線,其實也是關於底模的一句評語,值得這樣讀。在沒有這個附加元件的時候,一個被要求跟著骨架走的動畫模型,大概只能把姿勢做對三分之一。插畫師為了繞開這一點所做過的一切,從過一遍 img2img 到一條胳膊一條胳膊地補,都是從那個數字來的。把它提到 0.83 減少的是重複的工作量,並沒有省掉檢查結果這一步。
交付了什麼,用起來要付什麼代價
這個包本身不大:兩個 ComfyUI 節點資料夾,四個範例工作流程,進入點是 pose_control_demo.json,還有一個大小約 316MB 的偵測器。
把 ComfyUI 當成發佈管道,現在已經是常態,而它有個副作用值得注意。一個工作流程 JSON 檔案同時是文件、也是教學,還是可重現性的憑證。只要你能載入這個檔案,作者用過的每一個參數,你都看得見,這種程度的公開,是大多數模型發佈從來不提供的東西。它同時也意味著,這個工具的行為可以在你的機器上、用你的 seed 重現,而這是 0.83 那個說法能被作者以外的人檢驗的唯一途徑。
權重是非商用的。對一個有著龐大愛好者社群的動畫模型來說,這是熟悉的安排:給畫同人圖的人免費使用,給拿它賺錢的人另外授權。它同時也意味著一家工作室想採用它,得先坐下來跟對方談一談。而對大多數專業使用者來說,不管準確率這個數字是多少,這一條才是決定性的。
這次發佈代表的那套模式
動畫生成這兩年的方向,是收斂到一套堆疊上:一個底模,一組角色 LoRA 模型,再加上姿勢、線稿、構圖這幾層控制。每一層都是另一個作者做出來的一次小規模發佈,往往配一個工作流程檔案,和一張把失敗項目一條條列出來的模型卡。
這種結構當然是有代價的。層與層之間的相容性不歸任何人負責,底模更新一次,可能同時把四個附加元件弄壞。它也有一個好處,而且是市場上做得最精緻的那一端一直想花錢買、卻始終買不到的東西:失敗清單是公開的,因為寫這些工具的人,自己就是使用者。
Anima-Control-Pose 是一次小規模的發佈,附了一張誠實的卡。有意思的問題不是 0.83 好不好。真正的問題是,這個生態還會不會繼續把這個數字公布出來,還是下一個版本只給一段好看的示範影片,分母不見了。
把分母留著。它是唯一能讓你自己做判斷的那一部分。
相關文章
一份社群維護的點擊表,關掉了中國品牌 Android 系統裡的廣告
它不動系統,不解鎖,不刷機,只把廠商本來就留出來的開關一個個撥過去。代價是這份名單得一直有人續寫。
GPT Image 2.6 守住 token 價格,帳單卻變貴了
GPT Image 2.6 沿用 2.5 的全部 token 費率,每張圖卻更貴,因為更多工作現在花在輸出 token 上。上線十一天,定價結構說得比排行榜更多。
有人從外部重寫了 IDM,並寫下自己沒碰過的部分
Mister Download Manager 用 Rust 重寫了 Internet Download Manager 的下載流程,聲稱速度快 5 倍、支援 86 種語言。更值得細讀的,是它解釋如何在不複製任何程式碼的前提下完成重寫的那一段。
Rune 是一個 Rust UI 框架,設計初衷是讓 agent 能檢查自己的工作
Rune 能無頭繪製、匯出元素樹並接受腳本化輸入,這讓編碼 agent 拿到截圖永遠給不了的東西,一個可 diff 的訊號。這個框架仍是預先發布版,不接受 pull request。