نماذج فيديو تتوقع المقطع الذي يلي التالي

تُدرَّب نماذج الفيديو التوليدية الذاتية بالطريقة نفسها التي تُدرَّب بها نماذج اللغة: نعرض على النموذج بادئة، ونطلب منه توقع الرمز التالي أو المقطع التالي، ثم نقارن ونكرر. الطريقة تعمل. ولديها أيضاً علة محددة، وسمّتها ورقة من Tencent ARC وNanjing University وZhejiang University بشكل صريح.
التكرار الزمني يشجع الاختصارات المحلية.
بالترجمة المباشرة: حين تكون الإطارات المتتالية متطابقة تقريباً، يستطيع النموذج تحقيق درجة جيدة بنسخ الإطار الذي رآه للتو وتحريكه قليلاً. هذه حركة مسموحة في إطار هدف التدريب. وهي أيضاً نقيض تعلّم الديناميكا، لأن الديناميكا هي بالضبط الجزء الذي لا يكون فيه الإطار التالي نسخة.
الحل هو تنبؤ ثانٍ
تقدم الورقة Future Chunk Prediction، أو FCP باختصار. أثناء التدريب، تأخذ فروع مساعدة خصائص وسيطة من المقطع الحالي وتحاول توقع مقطع بعيد زمنياً، على بعد عدة خطوات في التسلسل.
التفصيل المهم هو من أين تقرأ هذه الفروع. المخرج النهائي مستبعد، فهو يجب أن يكون صحيحاً أصلاً. القراءة تحدث في وسط الشبكة، عند النقطة التي لا يزال النموذج فيها يبني تمثيله الداخلي للمقطع الحالي. إذا كانت خاصية في الكتلة رقم 10 ستُستخدم لتوقع ما يحدث بعد ثلاثة مقاطع، فعليها أن ترمّز الحركة والتلامس والنتيجة. نسيج السطح لا يكفي.
الإشراف هو بكسلات الفيديو فقط. لا تدفق بصري، ولا وسوم أفعال، ولا عمق، ولا محاكي فيزيائي داخل الحلقة. الفروع المساعدة تتوقع محتوى الصورة وتُقيَّم على محتوى الصورة، وكل ما تبقى يُترك للنموذج ليتعلمه كأثر جانبي.
هذا القيد مهم. كثير من أعمال الفيديو الواعية بالفيزياء تستورد إشارة من مكان آخر، وهذا يجعل النتيجة أصعب في الإعادة وأصعب في التطبيق على لقطات حقيقية. يبقى FCP داخل النمط نفسه.
ما يدّعيه المؤلفون
نتيجتان، مذكورتان بصراحة.
الاتساق الفيزيائي في الفيديوهات المولدة يتحسن. تتوقف الأجسام عن الانتقال الآني، وتُحلّ نقاط التلامس بدل أن تنزلق، وتخمينات النموذج بشأن ما سيأتي تنبع من الحالة الحالية، ولا تعتمد على افتراض مسبق عمّا اعتاد أن يجاور ماذا.
التمثيلات الداخلية تصبح أكثر بنيوية دلالياً. بالنسبة لمن هم خارج توليد الفيديو، الادعاء الثاني هو الأكثر إثارة، لأنه يوحي بأن الخسارة المساعدة تفعل شيئاً في فهم النموذج، لا في مخرجه وحده. التمثيل المجبر على ترميز "ما سيحدث بعد ذلك" تمثيل مضطر لترميز الأجسام والفاعلين والنتائج.
كيف قيس هذا الادعاء بالضبط هو السؤال الذي يجب طرحه قبل تصديقه. الورقة تعرض نتائج على تقييماتها الخاصة، والأوزان متاحة بحجمين، 1.3B و5B، كنماذج من النص والصورة إلى الفيديو. هناك مجموعة بيانات تجريبية على Hugging Face وصفحة مشروع فيها عينات. ما لا يوجد في المستودع هو مقارنة مستقلة من طرف ثالث، وهذا هو الوضع الطبيعي لورقة عمرها أسبوعان، ويستحق التذكر حين يقول الملخص التالي إنها "تحل الفيزياء".
الهدف الحقيقي هو teacher forcing
الحجة الأعمق تتعلق بإشارة تدريب يستخدمها الجميع ولا يحبها أحد. يمنح teacher forcing النموذج السياق الصحيح في كل خطوة. هذا يجعل التدريب مستقراً وقابلاً للتوازي. وهو يعني أيضاً أن النموذج لا يتدرب أبداً على التعافي من أخطائه، ولا يضطر إلى الحفاظ على حالة داخلية متماسكة على أفق طويل، لأن الحقيقة المرجعية تعيد ضبط الحالة عنه.
أضف إلى ذلك إطارات مكررة، فتحصل على نموذج بارع في الـ 200 ميلي ثانية التالية ومنفلت عند الثانية الثالثة. من ولّد مقطعاً طويلاً رأى هذا العطل: موضوع يتماسك ثانيتين ثم يصبح موضوعاً آخر باللوحة اللونية نفسها.
يهاجم FCP هذا من جهة التمثيل ويترك الـ rollout في حاله. تدريب النموذج على rollouts أطول مكلف وغير مستقر. بدلاً من ذلك، يُلزم وسط الشبكة بأن يثبت أنه يعرف إلى أين تسير الأمور. هذا أرخص، ويتوافق مع أي مخطط rollout لديك بالفعل.

ما يلزم لإثباته
الادعاء المهم لا يتعلق بـ "فيديوهات أجمل". يقول إن نموذجاً دُرّب بـ FCP لديه نموذج عالم أفضل، وحالته الداخلية تتبع الأجسام والنتائج ولا تتوقف عند المظاهر.
هذا الادعاء قابل للاختبار بطرق لا تجربها الورقة، والاختبارات تستحق التسمية لأنها رخيصة. جمّد النموذجين بعد التدريب مع الخسارة المساعدة وبدونها، ثم اسبر الخصائص الوسيطة بحثاً عن ثبات الأجسام: هل ما زال تمثيل مشهد تتدحرج فيه كرة خلف كرسي يحتوي الكرة؟ ثم اطلب استكمالات تخالف الفيزياء بطريقة محددة، كأس يسقط ولا ينكسر، وقس إن كان نموذج FCP يقاوم الإغراء مدة أطول. كلاهما بالبذور نفسها والـ prompts نفسها.
لا شيء من هذا يحتاج مجموعة معايير جديدة. يحتاج شخصاً يملك الأوزان، وهي منشورة، وعطلة نهاية أسبوع.
ما يلزم لتشغيله
بالنسبة لإصدار بحثي، المستودع مباشر. Linux وPython 3.12 وPyTorch 2.10 مع CUDA 12.8 وFFmpeg 7.1 إذا سلكت طريق conda. التثبيت الموصى به هو `uv sync --python 3.12` بعد تثبيت FFmpeg، أو بيئة conda ثم pip install لـ torch وملف requirements. لا شيء غريب، ولا kernels CUDA مخصصة تحتاج إلى تصريف مقابل تعريف معين، وهذا أكثر مما يمكن قوله عن كثير من أعمال الفيديو.
حجمان، 1.3B و5B، وكلاهما توليدي ذاتي من النص والصورة إلى الفيديو. يقول الفريق إن أحجاماً وأشكالاً أخرى قادمة. مجموعة البيانات التجريبية تُنشر مع الأوزان.
القراءة الصادقة
هذه ورقة عن طريقة تدريب بفكرة نظيفة على نحو غير معتاد، والأفكار النظيفة في توليد الفيديو تُتبنى أسرع من المعماريات، لأنها لا تتطلب إعادة تدريب فريق.
السؤال المفتوح هو الحجم. الخسارة المساعدة التي تنفع عند 5B قد تتبدد عند 50B، وقد تصبح ضرورية، ولا أحد يعرف حتى يشغّلها أحد. السؤال المفتوح الآخر هو ما إذا كانت "التمثيلات الأكثر بنيوية دلالياً" تصمد أمام معيار لم يصممه المؤلفون.
بالنسبة للممارس، الخلاصة العملية أصغر وأكثر قابلية للنقل: إذا كان نموذجك جيداً في الخطوة التالية وسيئاً في الثواني الثلاث التالية، فقد لا تكون المشكلة في السعة. قد تكون خسارتك لم تسأل وسط الشبكة يوماً سؤالاً عن المستقبل. FCP طريقة لطرحه، وتكلفتها مجموعة ثانية من رؤوس التنبؤ بدل عشرة آلاف ساعة GPU أخرى.
المستودع عند 274 stars، وهذا هو شكل ورقة بلا منتج ملتصق بها. الفكرة على الأرجح ستعيش أطول من عدد النجوم.
مقالات ذات صلة
الحلقة التي بنتها Nvidia حول عملائها: 99 مليار دولار
بيع المعاول نشاط جيد. إقراض من يشتري المعاول نشاط آخر تمامًا، وله اسم مختلف حين ينتهي الازدهار، وهو الاسم الذي يقلق المحللين.
هامش 74% له تاريخ انتهاء صلاحية
ثلاث قوى تصل في الأرباع الأربعة نفسها، وكل نقطة هامش تكلف نحو 3 مليارات دولار في السنة، أي ما يعادل شركة شرائح كاملة.
175 ألف توقيع لن تعيده. هذا ما قد يعيده
كلما طال الوقت الذي تحتاجه الحملة للفوز، ضعفت حجتها. هذا هو الفخ المبني داخل الحملة نفسها، ولا عريضة تستطيع إلغاءه.
قاعدة التصدير نقلت وحدة التحكّم من الشريحة إلى العميل
القاعدة لا تحظر الشرائح. إنها تسأل من هو المستخدم النهائي، وهذه مساحة تنظيمية أوسع وأصعب في التنفيذ من قائمة دول.