نموذج صور بحجم 260 مليون يتغلب على منافس أكبر منه 6.5 مرة عبر تكرار الكتل نفسها

تقترح ورقة بحثية جديدة طريقة مختلفة لتوسيع نماذج تحويل النص إلى صورة، والنتيجة هي رقم يجعل الناس ينظرون مرتين. من خلال تشغيل مجموعة من كتل المحول المشتركة بشكل متكرر داخل كل خطوة إزالة الضوضاء، بدلاً من إضافة معاملات جديدة، يُقال إن نموذجًا بـ 260 مليون معامل تغلب على منافس أكبر منه 6.5 مرة باستخدام حوالي 4.9 مرة أقل من الحوسبة. تُسمى التقنية محول الانتشار المُكرر، والفكرة وراءها قديمة بما يكفي لتكون مألوفة من مكان آخر في تعلم الآلة.

المبدأ هو مشاركة الأوزان عبر العمق. يزداد نموذج الصور القياسي قوة عبر تكديس المزيد من الكتل، وكل كتلة تحمل معاملاتها الخاصة. يقوم النموذج المُكرر بتشغيل مجموعة أصغر من الكتل مرارًا وتكرارًا داخل خطوة إزالة ضوضاء واحدة، لذا تقوم نفس الأوزان بعمل أكثر قبل الانتهاء من الصورة. تزداد الحوسبة مع عدد التكرارات، لكن عدد المعاملات يبقى ثابتًا، مما يغير الحسابات لأي شخص يفكر في مكان تشغيل النموذج.

لماذا يهم مكان وجود المعاملات

عادة ما يُناقش عدد المعاملات والحوسبة معًا، لكنهما يقيدان أشياء مختلفة. تحدد المعاملات مقدار الذاكرة التي يشغلها النموذج، وغالبًا ما تحدد ما إذا كان يتناسب مع الأجهزة التي يمتلكها الشخص فعليًا. تحدد الحوسبة المدة التي يستغرقها التوليد وتكلفة تقديمه.

يهدف التصميم الذي يقايض عدد التكرارات بالمعاملات إلى القيد الأول دون تجاهل الثاني. يشير توفير الحوسبة المبلغ عنه بـ 4.9 مرة إلى أن المقايضة مواتية في هذا المعيار، رغم أن النتائج في ورقة بحثية ليست نفس النتائج في نقطة تفتيش مُطلقة، وقد كان الاستقرار التدريبي للبنى المُكررة مصدر قلق متكرر في الأعمال السابقة.

سباق الصور المفتوحة أصبح الآن حول البصمة

التوقيت مهم لأن مجتمع الصور المفتوحة قضى العام الماضي يتنافس على محور مختلف. أصبحت بصمة الذاكرة هدفًا معلنًا، حيث يتم الترويج للنماذج بناءً على قلة ذاكرة الوصول العشوائي للفيديو التي تحتاجها وتقنيات التقطير التي تقلل عدد خطوات أخذ العينات. تهاجم الأساليب التي تقلل الخطوات والأساليب التي تقلل المعاملات المشكلة من طرفي نفس خط الأنابيب. يقع محول الانتشار المُكرر في نهاية المعاملات.

تتحرك نتيجة ذات صلة من ستانفورد NLP في اتجاه مماثل. تستخدم طريقة تسمى UniEvo-VL التقطير الذاتي وفق السياسة، حيث يعمل نموذج واحد كمعلم وطالب في آن واحد، لرفع درجة GenEval لنموذج صور قائم على Qwen من 0.747 إلى 0.808 دون نموذج معلم خارجي. الخيط المشترك هو نفسه: الحصول على المزيد من القدرات من نموذج معين بدلاً من تدريب نموذج أكبر.

هذا أكثر من مجرد ذوق بحثي. قمة لوحة صدارة تحويل النص إلى صورة مفتوحة الأوزان هي مجموعة متقاربة بحجم متواضع. يتصدر Qwen-Image-2.1 بحوالي 1,036 إيلو مع مكون توليد بـ 7 مليارات معامل، متقدمًا على FLUX.2 dev وHunyuanImage 3.0 Instruct. لا يزال أفضل نموذج مفتوح متأخرًا عن GPT Image 2.5 Sunburst من OpenAI، الذي يقع بالقرب من 1,197، بفارق كبير. إذا كانت الحدود بعيدة المنال من حيث الحجم، تصبح حيل الكفاءة هي الطريقة التي تبقى بها المختبرات الأصغر في المحادثة.

التحفظات الصادقة

أولاً، المقارنة الرئيسية هي معيار واحد. خسارة منافس أكبر بـ 6.5 مرة أمام نموذج مُكرر في تقييم واحد لا تعني أن التقنية تفوز في كل مكان، وجودة الصورة معروفة بحساسيتها لاختيارات التوجيه وأخذ العينات. ثانيًا، الانتصارات المبلغ عنها ذاتيًا في هذا المجال لها عادة التقلص تحت الاختبار المستقل، خاصة عندما لا يتم تشغيل الاستدلال على نفس الأجهزة والإعدادات. ثالثًا، تقايض التكرار بساطة التدريب بكفاءة الاستدلال، وأنماط الفشل عند ضبط عدد التكرارات بشكل خاطئ ليست واضحة من ملخص الإطلاق.

لا شيء من ذلك ينقض الاتجاه. السؤال المثير للاهتمام لمنشئ يعمل ليس ما إذا كان نموذج بـ 260 مليون يتغلب على منافس أكبر 6.5 مرة في جدول. بل ما إذا كان التصميم يظهر في نقاط تفتيش قابلة للتنزيل تعمل على وحدة معالجة رسومات للمستهلك دون أربع ساعات من الإعداد. هذا هو النمط مع تقنيات الكفاءة: تبدأ كأوراق بحثية، ثم تُدمج في الضبط الدقيق المجتمعي، وفي غضون شهرين تصبح توقعًا وليس ميزة.

ما يجب مراقبته

راقب ما إذا كانت التصاميم المُكررة أو ذات الأوزان المشتركة تظهر في أوزان مُطلقة وليس فقط في الأوراق البحثية، وما إذا كان توفير الحوسبة يصمد عند دقة أعلى، حيث تهيمن تكلفة الانتباه. راقب لوحات الصدارة بعد الجولة التالية من الإصدارات المفتوحة، لأن التقنية التي تخفض الحد الأدنى للمعاملات تميل إلى الظهور كعدة نماذج جديدة تهبط في نفس نطاق الكفاءة في وقت واحد.

الدرس الأوسع من هذه الدفعة من الأبحاث هو أن محادثة التوسيع في توليد الصور قد نضجت. لا يزال إضافة المعاملات فعالاً. لكن العمل الأكثر نشاطًا يدور حول جعل نموذج معين يقدم أكثر بأقل، وهذا نوع التقدم الذي يصل إلى حاسوب محمول أسرع مما يصل إلى مركز بيانات.

لماذا التكرار فكرة قديمة بجاذبية جديدة

مشاركة الأوزان عبر العمق ليست جديدة. تظهر في الشبكات المتكررة من سنوات مضت وفي العديد من نماذج اللغة التي تعيد استخدام كتلة من الطبقات بدلاً من تكديس طبقات فريدة. ما يجعلها مثيرة للاهتمام للانتشار الآن هو بنية عملية التوليد. يحدث إنتاج الصورة عبر العديد من خطوات إزالة الضوضاء، وكل خطوة تشغل الشبكة بأكملها بالفعل. يضيف التكرار داخل الخطوة محورًا ثانيًا للتكرار، مما يعني أن مضاعف الحوسبة ومكسب الجودة يمكن ضبطهما بشكل مستقل إلى حد ما.

المقايضات حقيقية. إعادة استخدام الأوزان تجعل التدريب أكثر صعوبة، لأن التدرجات من كل تكرار يجب أن تتدفق عائدة عبر نفس المعاملات، والنموذج الذي يكرر بشكل مفرط يمكن أن يفقد التفاصيل الدقيقة. تستخدم النتيجة المبلغ عنها عدد تكرارات محددًا يمكن لورقة بحثية تحمل عناء ضبطه؛ نقطة تفتيش مُطلقة يجب أن تعمل عبر مطالبات من مجموعة واسعة من المستخدمين، وهو اختبار أكثر صرامة.

هناك أيضًا سبب عملي يجعل المجتمع يهتم أكثر مما يوحي به المعيار. يُحكم على كل نموذج صور مفتوح تقريبًا في التداول جزئيًا بناءً على قلة ذاكرة الوصول العشوائي للفيديو التي يحتاجها، لأن الأشخاص الذين يشغلونها يستخدمون واحدًا أو اثنين من وحدات معالجة رسومات المستهلك، وليس مجموعة. التصميم الذي يخفض الحد الأدنى للمعاملات دون تأثير متناسب على الجودة يتحدث مباشرة إلى هذا الجمهور، وهذا الجمهور كبير بما يكفي الآن لتشكيل التقنيات التي يتم اعتمادها.

سباق التسلح للكفاءة له جبهتان

من المفيد فصل الرافعتين اللتين يتم جمعهما معًا تحت مسمى «الكفاءة». يقلل تقطير الخطوات، الذي يقلل عدد تمريرات إزالة الضوضاء، بشكل أساسي من وقت التوليد والتكلفة لكل صورة. يقلل تقليل المعاملات، وهو ما يستهدفه التصميم المُكرر، بشكل أساسي من الذاكرة وحجم التنزيل. يمكن أن يكون النموذج سريعًا وكبيرًا، أو بطيئًا وصغيرًا، وأفضل توافق يعتمد على الجهاز.

دفعت السنة الأخيرة من إصدارات الصور المفتوحة بقوة على الرافعة الأولى، حيث أصبحت المتغيرات بأربع خطوات وخطوتين هي القاعدة لأي شيء يُقصد تشغيله تفاعليًا. تحركت الرافعة الثانية بشكل أبطأ، ولهذا تبرز نتيجة حول كفاءة المعاملات. إذا صمدت، توقع رؤيتها مقترنة بجهاز أخذ عينات مُقطر، مما ينتج نماذج صغيرة بما يكفي لتلائم وسريعة بما يكفي للاستخدام، وهو تقريبًا الاتجاه الذي كان يسير فيه سرد توليد الصور على الجهاز لبعض الوقت.

لا شيء من ذلك مضمون بورقة بحثية واحدة. لكن الاتجاه واضح، والعائد ملموس لأي شخص انتظر في قائمة انتظار لتوليد صورة واحدة.