一張雙聯畫就能做動作捕捉:anymove 用 0.26 美元把生物影片變成 GLB

動作捕捉有一個沒人談的規模問題,而且不是動捕服的價錢。問題是動捕是為人類打造的——兩條腿、已知的骨架、標準的髖部高度——而當你的角色是一條龍、一隻巨蜘蛛或一個火焰惡魔,整套 pipeline 就瞬間不適用。
遊戲和電影用動畫師解決這件事。動畫師看參考,然後逐格手工為生物打上四肢的關鍵影格,因為參考是一個人在走路,而目標是有六條腿和一條尾巴的東西。那才是真正的工作。這也是為什麼生物動畫是那些有很多項目要做的製作裡最貴的項目之一。
Patch 的 anymove 是試著自動化那個特定缺口。它有 452 星,10 月 27 日出現,只做一件事:把一段 AI 生成的生物影片,變成有骨架、有動畫的 GLB。
有意思的是它用來達成的手段,而那手段跟攝影機有關。
一個畫面裡的兩個視角
人類動捕之所以行得通,是因為多台攝影機從不同角度看到同一個身體,而那些視線的交會給你一個 3D 位置。一台攝影機給你平面上的 2D 位置,而平面不是身體。
你沒辦法在 AI 生成的影片周圍擺兩台攝影機,因為那段影片不存在於 3D。它是像素。
所以 anymove 要求影片模型做一件有點怪的事:同一個畫面裡,同時從正面和從側面拍同一隻生物。一幅雙聯畫——兩塊並排的面板,一隻生物,兩個視角,同步移動。
現在你又有了兩條視線。正視圖給你 X 和 Y。側視圖給你 Z 和 Y。交會它們,一個關節就有了 3D 位置,從一段平面影片復原出來,不需要深度模型,也不需要多視角設備。
這個 repo 原本叫 diptych,改名為 anymove 當產品決定說得通,但舊名字更誠實地描述了機制。那張兩格的畫面才是發明。其他都是管路。

Pipeline,一個階段一個階段
生成影片。 一個動作一段 AI 影片。README 說每段 0.26 美元——龍、巨蜘蛛、火焰惡魔和狼的示範都是這樣做出來的。提示詞必須把雙聯畫的構圖穩住,這是整套方法唯一會失敗的地方:如果模型在兩格之間漂移了取景,兩個視角就不再對應,三角測量就成了垃圾。
讀關節。 一個基於 DINOv2 的讀取器在兩個視角裡找出每個關節。那是你要訓練的模型,也是貴的部分——訓練要 24GB VRAM。之後的讀取需要的少得多。
套骨架。 兩個視角「像牆一樣立起來,把每個關節釘在 3D 裡」,借 README 的說法。然後把骨架套到復原的點上。輸出是骨骼動畫,不是點雲,這才是它下游能用的原因。
匯出。 一個 GLB,加一支 showcase.mp4,把動畫放在原始影片旁邊,讓你可以比較而不騙自己。
最後那個產物,跟今年比較好的 agent 工具是同一個直覺:永遠產出並排圖,因為模型會很樂意告訴你它成功了,而唯一的防禦就是親眼看。
安裝,大多數人會停在這裡
需求很具體:一張有 CUDA 的 NVIDIA GPU、Python 3.11、Blender 5.x 在 PATH 上(或一個 BLENDER 環境變數),還有一組 fal key,如果你想做新影片。
git clone https://github.com/Patch-gg/anymove && cd anymove
python3.11 -m venv .venv
.venv/bin/pip install torch==2.11.0 --index-url https://download.pytorch.org/whl/cu128
.venv/bin/pip install -r requirements.txt
cp .env.example .env # add your FAL_KEY
注意鎖定的 torch 版本和明確的 CUDA 12.8 index。這不是一個隨便你手上是什麼 Python 都能跑的專案。
上手體驗最好的一段是純 CPU 的煙霧測試。repo 附了讀取器已經為龍的咆哮找到的關節偵測結果,所以你可以不下載 355MB 權重、不裝 Blender 就把骨架套上去:
mkdir -p runs/dragon/clips/roar
MOCAP_CREATURE=assets/dragon .venv/bin/python -m mocap.solve \
examples/dragon_roar/det.npz \
assets/dragon/rigged/rig_info.json \
runs/dragon/clips/roar/motion.json
大約二十秒,而且它會印出兩個視角吻合的程度——那正是你真正想要的診斷,因為視角之間的不一致就是整套架構暴露的失敗模式。
完整路徑,用 release 裡的示範生物網格、訓練好的讀取器和影片(13MB 網格、355MB 讀取器、4MB 影片):
tools/fetch_examples.sh dragon --readers --clips
tools/prep.sh dragon && tools/rig.sh dragon
tools/capture.sh dragon runs/dragon/videos/roar/s1/h3max.mp4 roar
還有同一隻生物的新動作,大約 0.52 美元,因為它拍兩段影片:
.venv/bin/python tools/make_prompt.py assets/dragon \
"the dragon whips its tail from side to side, then stands still." \
prompts/dragon/tailwhip.txt
tools/film.sh dragon tailwhip h3max 1,2
tools/capture.sh dragon runs/dragon/videos/tailwhip/s1/h3max.mp4 tailwhip
這裡真正難的部分
Retargeting。復原關節位置是一個問題;把它們映射到一個有特定骨長和特定休息姿勢的骨架上,是另一個問題。如果龍的骨架脖子比復原的點所暗示的更長,那脖子就會彎得很怪,或者頭會浮起來。README 的說法——「骨架落在點上」——暗示的是 fitting 而不是 retargeting,那是比較容易也比較誠實的選擇:動畫的好壞,只跟骨架比例與影片吻合的程度一樣好。
腳部接觸。每一條動捕 pipeline 都在跟腳滑搏鬥,而從生成影片做的兩視角解算沒有地面、沒有受力資料、沒有物理約束。一隻滑行的龍就是一隻看起來假的龍,不管關節多好。
遮擋。兩個視角有幫助,但只有兩個。一塊肢體在兩格裡都藏在身體後面時必須被推斷,而模型會發明一個看起來合理的東西。
經濟學,這才是真故事
每段影片 26 美分。讀取加套骨架不到一分鐘。repo 裡有四隻示範生物,各自有自己的骨架、提示詞和讀取器。
拿它跟替代方案比:一個動畫師、一天、一輪修改。這個比較不公平——輸出品質不一樣,沒有人會用這個出貨主角的招牌動作。但對背景生物、敵人變體、群眾填充,或預告裡怪獸只出現兩秒的那四十秒來說,26 美分拿掉了一整場「這個鏡頭值不值得做」的爭論。
又是今年的模式。不是「AI 取代技藝」。AI 壓低的是你本來就打算丟掉的那個版本的成本,而技藝往上移動到那些活下來的決定上。
你該試嗎
如果你有 NVIDIA 卡、裝了 Blender、而且有一個你在乎的生物骨架,該試——而且從 CPU 煙霧測試開始,不要直接跑完整 pipeline。它花二十秒,告訴你兩個視角在你的資料上吻不吻合,那是你花任何錢之前唯一重要的問題。
如果你在 Mac 上,讀取器訓練就不用想了,套骨架也只是理論上可行。repo 是 Apache-2.0,所以你可以移植。這個月我不會。
相關文章
AMD 那一週漲的 18.93%,其實不是衝著 AMD 來的
AMD 的 18.93% 來自輪動而非重新評價;真正決定市占的是軟體堆疊與十八個月的認證週期。
十份降評報告,沒有一份改過訂單預估
十份降評報告沒改一個營收數字,改的是結果分布;折價 25% 反映的是估值方式換了一套。
一份社群維護的點擊表,關掉了中國品牌 Android 系統裡的廣告
它不動系統,不解鎖,不刷機,只把廠商本來就留出來的開關一個個撥過去。代價是這份名單得一直有人續寫。
GPT Image 2.6 守住 token 價格,帳單卻變貴了
GPT Image 2.6 沿用 2.5 的全部 token 費率,每張圖卻更貴,因為更多工作現在花在輸出 token 上。上線十一天,定價結構說得比排行榜更多。