← 返回部落格
Ai預計閱讀 10 分鐘

H3 流水線的最後一環,現在開源了

發布於 2026年11月1日
H3 流水線的最後一環,現在開源了

十月的最後一週,Hugging Face 上多了一組叫 Open-H3-Regenerate-2K 的模型權重。名字拗口,來源很硬:輝達(NVIDIA)和麻省理工學院合組的 Efficient-Large-Model 團隊,推論程式碼放在 NVlabs/Sana 儲存庫裡。

它做的事,一句話講完:拿一段低解析度的影片草稿,重新生成成高畫質版本。支援 2560×1440,往上能到 3840×2160。前提是,草稿得由 MiniMax 的 H3 生成。

這則消息在中國大陸的傳播方式和海外不太一樣。海外討論的是又一個開源權重出現,中國大陸的 B 站上吵的是另一件事:一致性怎麼保住。十月底一支講 Z-Image 配 Wan2.2 的 ComfyUI 教學拿到當天最高分,留言區問的都是「人物會不會變臉」「前後鏡頭接不接得上」。大家真正焦慮的不是畫質高低,而是一段片子裡的人,還是不是同一個人。

H3 這條流水線,本來斷在最後一環

MiniMax H3 是今年 8 月開的權重。官方把整套系統拆成三段:多模態脈絡處理、基礎音視訊生成、高解析度重生成。開放的只有第一段,以及第二段裡的 H3-Base,負責產出 768P 的音視訊。第三段,也就是把 768P 拉到 2K 的 H3-Regenerate-2K,一直只透過 API 提供。

這條分工其實很合理。生成模型管「有什麼」,細節模型管「多清楚」。問題是,一旦最後一環只有 API,本地創作者的工作流程就卡在那裡:你可以用本地顯卡跑到 768P,但想要一支能上大銀幕的成片,就得把素材傳上去,按次付費,還得接受對方伺服器的排隊。

NVIDIA 和 MIT 這次做的,就是把這一環補上。他們沒動 H3 的主幹,也沒動影片 VAE,參數全部凍結,只訓練新增的一層細節 LoRA,大約等於給原來的模型加了一副眼鏡。推論的時候,這層 LoRA 和社群現成的轉接器合併使用,例如 LightX2V 的 FL2VA Turbo、LMS Sharp,然後只跑三步去噪,在目標解析度下把細節重新長出來。草稿裡的場景、構圖、運動軌跡都保留,被替換的只有清晰度。

装在工作站里的显卡与液冷管路特写,蓝绿色环境光

3.9 倍是怎麼算出來的

開源社群做高畫質修復,最怕的不是效果差,是慢到沒法用。團隊公布的測試條件是單張 B200,預熱之後跑一段 5 秒的影片,把潛空間放大、三步細節化、2K 解碼三段加起來:未最佳化的實作要 87.26 秒,最佳化後 22.45 秒。差不多 3.9 倍。

提速主要來自兩處。一是潛空間放大器,社群做的,直接放大影片的潛表示,省掉了高解析度下反覆解碼再編碼的開銷。二是解碼器,換了快速的 VAE 解碼,單這一步從大約 15 秒降到 1.6 秒。另外還疊了 SoL-Engine 的稀疏注意力和低精度運算。

這個數字的意義,得放在具體場景裡看。做一支 30 秒的短片,按 6 段 5 秒算,22 秒一段就是兩分多鐘的重生成時間,還沒算排隊和失敗重跑。以前這套流程得跑十幾分鐘,中間你還不敢切視窗。現在至少能一邊跑一邊做別的事。

當然,B200 不是普通人的卡。消費級顯示卡上跑同樣的流程,時間要乘以好幾倍。官方沒有給 4090 或 5090 的數據,這一點得自己試。

分數比官方介面高,但高的地方很具體

團隊在 RefinerBench-150 上做了對比,輸入相同、輸出都是 2K。感知品質評測 UniPercept 上,這個開源版本平均 60.0,官方 H3-Regenerate-2K 的 API 是 53.4。差了 6.6 分。

VBench 那邊的結論更有意思:美學品質、成像品質、主體一致性三項,開源版更高;運動平滑度和動態程度,官方 API 略勝。翻成大白話,開源版把每一格修得更「好看」、更「穩」,但代價是動作可能被修得保守了一點。對於口播、產品展示、紀錄片素材這類以靜態構圖為主的鏡頭,這是賺的;對於打鬥、舞蹈、快速運鏡,可能就不划算。

還有一件事值得注意:主體一致性的分數更高。這正好命中華語社群最關心的那個點。重生成最容易翻車的地方就是人臉和衣服紋理,一格一格修,修到最後主角換了個人。這次的數據說明,至少在 2K 這一檔,細節化過程對身分的保持是加分的。

它的位置:不是新模型,是流水線的補丁

要理解這個東西的價值,最好別把它當模型看。它是一組中介軟體。

過去一年,影片生成的進步主要發生在「能不能生成」和「生成得多長」上。現在這兩件事的邊際效益在下降,瓶頸挪到了後面:草稿出來之後怎麼辦。業界的通行做法是先用便宜快速的方式出低解析度草稿,確認分鏡、節奏、人物都對,再把定稿的鏡頭送去高畫質化。這個「送去高畫質化」的環節,以前是付費 API 或者手動超分,現在有了一個可以自己部署的開源實作。

對獨立創作者,這意味著成本結構變了:一次買卡,之後按電費算。對小團隊,這意味著可以把高畫質化排進夜間批次處理,第二天早上收片。對平台方,這意味著不必再為每一次重生成付一筆過路費。

但它不是免費的午餐。跑它得有 H3-Base 的權重,得接受 768P 草稿的品質上限,還得有能扛住 2K 解碼的顯存。草稿如果本身構圖錯了、人物錯了,重生成只會把錯誤修得更清晰。

生態已經跑在模型前面

H3 八月開源之後,一個月下載量超過 2400 萬次,公開的衍生模型 300 多個,是今年下載量最高的模型之一。圍繞它的工具鏈長得很快:LightX2V 出了四步和八步的 Turbo 蒸餾版,社群微調版 Singularity 專門調動作、臉部和風格,FastVideo 做了四步的 FastH3 預覽,Pika 出了六步取樣的 H3 Flex,ComfyUI 和 Unsloth 各自做了適配和量化。

NVIDIA 和 MIT 這個團隊自己也沒停:除了這次的影片增強,他們還發了基於 H3 Ref2VA 的串流渲染模型 StreamRender-H3,以及從 H3 影片 VAE 蒸餾出來的快速解碼器 Sol-H3-VAE。

這種「基礎模型開放、上層模組被外部團隊一個個補齊」的節奏,其實是開源影片生態第一次跑通。它帶來一個副作用:官方 API 的相對優勢在縮小。當你可以在本地用三步去噪拿到更高的感知分,付費的理由就從「效果更好」變成了「省事」。

要不要試

如果你已經在用 H3 出片,這個儲存庫值得拉下來跑一遍,重點看兩件事:你的素材在 2K 下的主體一致性,以及你的卡能不能在可接受的時間裡完成解碼。如果你只是偶爾生成幾支短片,官方 API 依然更省心,22 秒的重生成時間在雲端是別人替你等的。

真正該關注的是方向。影片生成正在從「一次成片」變成「草稿加精修」的兩段式工程,而精修這一段,現在有了開源選項。接下來半年,決定一個創作者產出效率的,可能不是他用哪個模型生成,而是他的後處理流水線排得多順。

相關文章