← العودة إلى المدونة
Aiحوالي 1 دقيقة قراءة

توليد الفيديو التفاعلي نال أخيرًا اختبارًا، وهو يرفض إصدار درجة كلية

نُشر في 11 نوفمبر 2026
توليد الفيديو التفاعلي نال أخيرًا اختبارًا، وهو يرفض إصدار درجة كلية

ظهر StreamEval في 15 أكتوبر ويصف نفسه أول مقياس لتوليد الفيديو التدفقي التفاعلي. الجلسات التي يقيّمها تمتد من 15 إلى 300 ثانية، والوحدة المقيسة هي الجلسة: كيف يتصرف نظام حين يواصل شخص مخاطبته أثناء التوليد.

هذا التمييز سبب وجود المقياس، ويستحق القول صراحة. كل مقارنة نماذج فيديو قرأتها هذا العام تقريبًا قاست مخرجًا من خمس أو عشر ثوانٍ مقابل طلب نصي. الأنظمة التدفقية تفعل شيئًا آخر: تقبل تعليمات جديدة وسط التوليد، وتحافظ على تماسك المشهد عبرها، وتثبّت هوية على مدى دقائق لا إطارات.

خمس مهام، لأن خمسة أشياء مختلفة تُسمى فيديو

ينقسم المقياس إلى مهام تفشل لأسباب مختلفة.

الحوار مع شخصية رقمية يعطي النظام صورة شخصية وهوية، مع كلام المستخدم أو مدخلاته النصية، ويقيّم الجودة وتزامن الصوت والصورة والاستقرار والحوار والهوية.

أداء الأفاتار يعطي صورة شخصية ونصًا يُؤدّى مع توجيهات حية، ويقيّم الجودة والتزامن والاستقرار والاتباع والهوية. والفرق عن المهمة الأولى أن المستخدم يخرج أداءً لا يدير حوارًا.

توليد العالم يأخذ طلبًا أو صورة افتتاحية، ثم طلبات حية وتحكمًا بالكاميرا، ويقيّم الجودة والاستقرار والاتباع والاستمرارية، مع مقياس مرجعي حين كان المدخل صورة.

تعديل التعليمات يغذّي فيديو مصدرًا حيًا وتعليمات تعديل نصية، ويقيّم الجودة والاستقرار والاتباع ونجاح التعديل والحفاظ.

التعديل المرجعي يغذّي فيديو مصدرًا حيًا مع صور مرجعية لتطبيقها أو ترقيعها أو إزالتها أو إعادة ضبطها، ويستبدل مقياس الحوار بمقياس مرجعي.

تُقيَّم المقاييس من 0 إلى 100. والرقم الكلي للمهمة هو المتوسط المتساوي الوزن للمقاييس المنطبقة عليها. ثم الجملة التي تجعل التصميم كله مفهومًا: لا تُدمج المهام أبدًا في مجموع واحد.

خمس بطاقات مطفأة فارغة تقف في صف، لكل منها ارتفاع مختلف، على حافة داكنة.

لماذا غياب عمود الترتيب هو المقصود

كل مقياس ينتج رقمًا واحدًا ينتهي إلى التلاعب به نحو ذلك الرقم. ومقياس فيديو بمجموع واحد سيدفع الفرق إلى مقايضة الاستقرار بالجودة، أو الاستمرارية بالاتباع، بالنسب التي تفضلها الأوزان. ولن يضطر أحد إلى إعلان المقايضة. ستظهر في الدرجات فقط.

برفض الدمج، يفرض StreamEval إخراج المقايضة إلى العلن. النظام الذي يتقن الحوار وينحرف بعد أربعين ثانية يظهر بدرجة حوار ودرجة استقرار، وعلى القارئ أن يقرر أيتهما يحتاج.

هذا خيار منهجي له كلفة. جدول بخمسة أعمدة أصعب في التقاطه صورةً من قائمة مرتّبة، وأصعب في بناء منشور إطلاق حوله. والمستودع يتحمل هذه الكلفة عن قصد، والورقة (arXiv 2610.28402) هي مكان التعليل.

مفتوح بالكامل، حتى التجزئات

القرار التصميمي الثاني أن كل شيء يُشحن. بيانات المقياس وكود التقييم والبروتوكولات وقواعد التنقيط، كلها علنية. ومجموعات البيانات منسوخة إلى Hugging Face وModelScope، وهذا يهم إن سبق أن حاولت تنزيل مقياس من خلف حجب إقليمي.

المجموعة الكاملة في `benchmark/v1/full`. كل مجلد مجموعة شروط يحتوي ثلاثة ملفات: `cases.jsonl` بخطوط زمن الإدخال، و`oracles.jsonl` بالنتائج المتوقعة المخصصة للحاكم وحده، و`manifest.json` بمسارات الوسائط وتجزئات SHA-256.

هذه الملفات الثلاثة تصف مقياسًا يمكن إعادة تشغيله وتدقيقه بدل الثقة به. فصل الـoracles يعني أن الحاكم يرى مفتاح الإجابة والنموذج لا يراه. والتجزئات تعني أن الوسائط لا يمكن تبديلها بين التشغيلات. لا شيء من هذا جديد، وكلاهما غائب عادة عن التقييمات المنشورة.

نموذج حاكم داخل الحلقة، وهذا خيار تصميمي

معظم المقاييس العشرة لا تُقاس بل تُحكم. تزامن الصوت والصورة يمكن حسابه؛ أما «الجودة» و«الاتباع» فلا، فيقرأ نموذج المخرج ويقيّمه.

هذا صار ممارسة معيارية ويأتي بفشل معروف: نماذج الحاكم تحمل تفضيلات، والأنظمة المضبوطة على الحاكم نفسه تتعلم تلك التفضيلات لا الجودة التي كان يقيسها بالوكالة. وفصل `oracles.jsonl` هو التخفيف. يرى الحاكم النتيجة المتوقعة، فيكون سؤاله أقرب إلى «هل يطابق النية» من «هل هذا جيد».

الكلفة أن المقياس يقيس التزامًا محكومًا لا استجابة جمهور. ولمنصة بحث هذه المقايضة صحيحة، لأن الالتزام قابل للتحقق والاستجابة ليست كذلك. ولفريق منتج يختار مورّدًا، يعني أن درجة عالية في الاتباع دليل على أن النظام فعل ما أُمر به، ولا شيء عن قيمة ما أُمر به.

تشغيله لا يكلف شيئًا في البداية

الإعداد السريع مبني عمدًا بحيث لا يحتاج التشغيل الأول مفتاح API ولا GPU ولا تنزيل المقياس. Python 3.10 أو أحدث على لينكس أو macOS:

git clone https://github.com/StreamEval/StreamEval.git streameval && cd streameval
python -m venv .venv && source .venv/bin/activate
python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke

السطر الأخير يولّد وسائطه بنفسه. ثم:

streameval run --model streameval.models.mock:MockModel --track instruction_edit \
  --case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt

نموذج وهمي على وسائط اصطناعية ينتج خط أنابيب يعمل من الطرف إلى الطرف، وهي الطريقة الصحيحة لشحن منصة تقييم. تكتشف أن حاكمك مضبوط خطأً قبل أن تنفق شيئًا، وتكتشف ذلك على بيانات قابلة للتكرار.

التحديث الشهري بيان عن المجال

يقول README إن لوحة الترتيب ستقيّم النماذج الجديدة والمحدّثة شهريًا.

لمقياس على مهمة مستقرة سيكون هذا الإيقاع غريبًا. ولمقياس على فيديو تفاعلي هو الخيار الصادق الوحيد. بين لوحة فيديو OpenRouter الأسبوع الماضي والذي قبله تغيّر التكوين: دخل Avatar IV العشرة الأوائل، وخرج mischief 1، وانخفض نصيب Alibaba من طلبات الفيديو بأكثر من النصف. الأنظمة الجديدة تصل أسرع مما يستوعبه مقياس سنوي.

كلفة التحديث الشهري هي قابلية المقارنة. إن تغيّرت المنصة صارت الدرجات القديمة أقل معنى. وإن لم تتغير، يمكن قياس فئات نماذج جديدة على بروتوكول أقدم منها. وجواب المستودع مجلدات مقياس مُصدَّرة بإصدارات مع تجزئات، تتيح مواصلة تقييم مجموعة v1 نفسها وإضافة مهام جديدة إلى جانبها.

حيث لا تقول الأرقام الكثير بعد

ثمة فجوة بين ما يقيسه StreamEval وما يحتاجه فريق إنتاج، وتستحق التسمية.

يقيّم المقياس ثبات الهوية والتزامن والاستقرار والاتباع. ولا يقيّم إن كان المخرج يستحق المشاهدة. يستطيع نظام أن يثبّت وجهًا خمس دقائق ويطيع كل تعليمات وينتج شيئًا لا أحد ينشره. الجودة في قائمة المقاييس، لكن كواحد من خمسة، و«الجودة» في مقياس فيديو ما زالت رأي نموذج حاكم.

الفجوة الأخرى الكلفة. جلسة 300 ثانية كائن اقتصادي مختلف عن مقطع 5 ثوانٍ، والمقياس صامت عن التأخير وسعر الثانية. وللأنظمة التفاعلية هذه عادة القيد الذي يحدد إن كان المنتج سيُشحن.

لا الفجوتان عيب في العمل. المقياس الأول ينبغي أن يقيس ما لم يكن له قياس، والفيديو التدفقي التفاعلي لم يكن له. والسؤال المثير كيف ستبدو لوحة الترتيب بعد ثلاثة تحديثات شهرية، حين تكون المهام الخمس نفسها طُبقت على مجال تحرّك مرتين بالفعل.

مقالات ذات صلة