مئتا تعديل حقيقي وفارق 0.27 نقطة: ما الذي تقيسه اختبارات الصور فعلاً

ثلاثة أرقام، ثلاث دعاوى مختلفة

عندما يصدر نموذج صور جديد، تحصل على بيان صحفي مرفق برسم بياني. يظهر النموذج الجديد في الرسم عادةً في القمة، مرتّبًا وفق مقياس اختاره المورّد، ومقاسًا على مجموعة بنى المورّد نفسه. الجميع في المجال يعرف ذلك، ومع هذا يقتبسون الرسم، لأنه لا يوجد شيء آخر يُقتبس في اليوم الأول.

أوضح مثال هذا الشهر هو FLUX 3 Image Klein، إصدار Black Forest Labs المفتوح الأوزان بحجم 5.6B في 15 أكتوبر. خلال أسبوع كانت ثلاث مجموعات مختلفة من الأرقام تتداول، وكان اختلافها مفيدًا في ذاته.

أرقام Elo من المورّد: المركز الأول في تحويل النص إلى صورة، والتوليد بمراجع متعددة، وتحرير الصور بين النماذج مفتوحة الأوزان، متقدّمًا على منافسين أكبر حجمًا. ومقارنةً بنموذجه FLUX.2 klein 9B، كسب 91 نقطة Elo في تحويل النص إلى صورة و70 في التحرير، مع استخدام معاملات أقل بنسبة 38%.

أرقام زمن الاستجابة من المورّد: وسيط زمن استجابة الواجهة 4.54 ثانية في تحويل النص إلى صورة و7.18 ثانية في التحرير عند ميغابكسل واحد، أسرع من المنافسين الأربعة المذكورين بالاسم. وتضيف ملاحظة المنهجية أن النموذج الجديد قيس على خوادم BFL نفسها، بينما قيس الآخرون من جهة العميل بما يشمل الاستقصاء ووقت الشبكة، وأن أحد المنافسين قيس على فئته المتوسطة لا الكبيرة.

الاختبار الأعمى من طرف ثالث: 200 مهمة تحرير حقيقية، 6.93 لـ Klein و7.20 لـ Nano Banana 2.1، أي فارق 0.27 نقطة على مقياس من عشرة، وقد وجد الاختبار نفسه أن Klein يتعثر في تعديل الوضعية وتركيب عدة صور. تكلفة الصورة الواحدة: نحو خُمس المنافس.

لا شيء من هذه الأرقام غير صادق. إنها تجيب على أسئلة مختلفة، والالتباس يأتي من التعامل معها كسؤال واحد.

ما يستطيع Elo قوله وما لا يستطيع

Elo درجة تفضيل. معناها أن البشر عندما عُرض عليهم ناتجان وسُئلوا أيهما أفضل، اختاروا أحدهما مرات أكثر. هذا قياس حقيقي، وهو القياس الصحيح لسؤال "هل يبدو هذا أفضل".

لكنه أيضًا قياس بنقطة عمياء محددة: يطمس سياق المهمة. يمكن لنموذج أن يفوز في مقارنة Elo في المتوسط ويخسر خسارة فادحة في الشيء الوحيد الذي تحتاجه منه. إذا كان عملك صور منتجات على خلفية بيضاء، أو تغيير الوضعيات، أو تركيب ثلاث مراجع في مشهد واحد متماسك، فهذا المتوسط ليس متوسطك.

أهم نتيجة في الاختبار الأعمى ليست الدرجة، بل نمط الفشل. مئتا مهمة تحرير حقيقية، والأخطاء المتكررة كانت في الوضعية وتركيب المراجع المتعددة، وهي بالضبط المهام التي يُفترض أن تساعد فيها آليات التخطيط. هذه جملة قابلة للتنفيذ أكثر بكثير من "متأخر بـ 0.27 نقطة"، لأنها تخبرك أي الأعمال يجب تحويلها إلى مكان آخر.

وهناك أيضًا مسألة حجم يجدر قولها بصراحة. على تقييم بشري من عشرة، فإن 6.93 مقابل 7.20 فرق صغير. وهو يقع تمامًا داخل النطاق الذي يمكن فيه للصور المختارة بعينها في مجموعة الاختبار، ولأذواق المقيّمين، أن تقلب الترتيب. فرق بهذا الحجم مؤشر، وليس حكمًا.

عمود التكلفة هو الذي يتخطاه الجميع

إليك الرقم الذي كان يجب أن يكون في العنوان: خُمس التكلفة لكل صورة.

إذا كان النموذج A أفضل بنسبة 4% وأغلى خمس مرات، فالإجابة الصحيحة لمعظم سير العمل ليست "استخدم A"، بل "استخدم B في ثمانين في المئة من الإطارات السهلة وA في العشرين في المئة الصعبة". هذا ليس تنازلًا. هكذا عملت الإنتاجات دائمًا، ولا أحد يصوّر كل إطار على أغلى فيلم.

التكلفة تغيّر السلوك أيضًا. النموذج الذي يكلف خُمس السعر هو نموذج تستطيع تحمّل التجربة عليه: خمس نسخ بدل واحدة، محاولة ثانية ليد جاءت سيئة، تمريرة إضافية على الخلفية. عدد التكرارات رافعة جودة لا تظهر أبدًا في أي اختبار قياسي، وهو السبب الرئيسي في فوز النماذج الرخيصة عمليًا أكثر مما توحي به درجاتها.

النمط نفسه يظهر في بيانات سوق الواجهات. في مؤشر بوابة Vercel لشهر أكتوبر، تعامل نموذج واحد رخيص مفتوح الأوزان مع قرابة نصف رموز سبتمبر مقابل أقل من 3% من الإنفاق. الحجم يتبع السعر، وفروق الجودة ببضعة في المئة نادرًا ما تصمد أمام ميزانية.

أين تبقى أرقام المورّد مهمة

لا شيء من هذا يعني أن الاختبارات الرسمية بلا قيمة. اثنتان من الدعاوى مفيدتان بنيويًا.

الدعوى الخاصة بكفاءة المعاملات، درجات أفضل مع معاملات أقل بنسبة 38%، قابلة للتكذيب ومهمة في اتجاهها، لأنها تتنبأ بالنشر لا بالجودة فقط. عمود فقري للصور بحجم 5.6B مع مُرمِّز نصي بحجم 4B ومُضخِّم مطالبات اختياري بحجم 9B ليس الشيء نفسه كنظام بحجم 5.6B، وكون النموذج الصغير يحتاج مساعدة نموذج لغوي لكتابة مطالبات جيدة هو بحد ذاته نتيجة. المطالبات القصيرة تنتج نتائج متوسطة؛ وهذا قيد نشر متنكّر في هيئة حاشية.

الدعوى الخاصة بزمن الاستجابة مفيدة أيضًا، حتى مع منهجية تحابي الفريق صاحب البيت. أربع إلى سبع ثوانٍ عند ميغابكسل واحد لنموذج يمكن تشغيله محليًا هو الرقم الذي يحدد ما إذا كانت الأداة التفاعلية تبدو تفاعلية فعلًا. إذا كنت تبني واجهة يسحب فيها المستخدم مربعًا ثم ينتظر، فهذا هو الرقم المهم، وهو ليس على أي رسم Elo.

كيف تقرأ الإصدار القادم

أربعة أسئلة، بهذا الترتيب، ويمكنك تخطي معظم الرسم البياني.

ما كانت مجموعة الاختبار؟ إذا بناها المورّد، فتعامل معها كعرض توضيحي لا كقياس.

هل كان أعمى ومن طرف ثالث؟ مئتا مهمة حقيقية بهوية نماذج مخفية تساوي أكثر من عشرة آلاف مقارنة من المورّد.

في أي شيء فشل؟ نمط الفشل هو قرار المنتج. عبارة "أضعف في تغيير الوضعيات" تخبرك أين لا تستخدمه.

كم كلّف؟ طبّع كل درجة على السعر قبل المقارنة، وتذكّر أن تكلفة إعادة المحاولة جزء من تكلفة النموذج.

النموذج الذي يفوز بالرسم البياني والنموذج الذي يفوز بخط سيرك ليسا في الغالب النموذج نفسه، والمسافة بينهما تكون عادةً في عمود لا يلتقط له أحد لقطة شاشة.

الخلاصة الهادئة

أصبحت نماذج الصور مفتوحة الأوزان جيدة بما يكفي لأن السؤال المفتوح لم يعد هل تستطيع المنافسة. في اختبار أعمى من 200 مهمة، وصل نموذج مفتوح بحجم 5.6B إلى أقل من ثلاثة أعشار النقطة من منافس مغلق، بخُمس السعر، وكانت الخلافات حول أنواع مهام محددة لا حول القدرة الإجمالية.

هذا سوق ناضج يتصرف كسوق ناضج: لا فائز واحد، وتوجيه حسب المهمة، وعمود تكلفة يحسم عمليات نشر أكثر مما يحسمها أي اختبار قياسي. رسوم المورّدين ستستمر في الوصول كل شهر. المهارة المفيدة هي أن تعرف أي الأرقام الثلاثة تنظر إليه فعلًا.