← العودة إلى المدونة
Aiحوالي 1 دقيقة قراءة

نموذج بحجم 1.6B توقف عن تحويل الصور إلى رموز، وتغلّب على المعماريات التي تفعل ذلك

نُشر في 7 نوفمبر 2026
نموذج بحجم 1.6B توقف عن تحويل الصور إلى رموز، وتغلّب على المعماريات التي تفعل ذلك

نشر فريق من جامعة هواتشونغ للعلوم والتكنولوجيا (HUST)، بالتعاون مع Horizon Robotics، هذا الشهر ورقة بحثية عن معمارية متعددة الوسائط لا تسلك أيًا من الطريقين اللذين سلكهما الجميع. يُسمى النموذج MF-1. يمتلك 1.6 مليار معامل، ودُرِّب من الصفر على 150 مليار token، ويتفوق على كلا المقاربتين الراسختين في مقارنة مضبوطة ببيانات وميزانية حسابية متطابقتين.

النتيجة تهم أقل بسبب أرقام الـ benchmark، وأكثر بسبب ما تقوله عن حجم ما يُهدر حاليًا من التدريب متعدد الوسائط على المعمارية.

الطريقان، وما يكلّفه كل منهما

منذ بضع سنوات هناك طريقتان لوضع اللغة والصور في النموذج نفسه.

الطريق المنفصل تمامًا، الذي تسلكه Chameleon وEmu3، يُكمّم الصور إلى tokens منفصلة بحيث يصبح كل شيء تسلسلًا طويلًا واحدًا من الأعداد الصحيحة وهدفًا تلقائيًا انحداريًا واحدًا. هذا أنيق وله سقف صلب: الـ tokenizer البصري يتخلص من التفاصيل عالية التردد أثناء التكميم. الملمس الدقيق والنصوص الصغيرة والتدرجات الخفية تُسطَّح قبل أن يراها النموذج أصلًا. يمكن تحسين الـ tokenizer، وقد فعل الناس ذلك، لكن السقف بنيوي.

الطريق الهجين، الذي تسلكه Transfusion وJanusFlow، يُبقي النص منفصلًا والصور متصلة. يمر النص عبر next-token prediction. وتمر الصور عبر عملية انتشار. هذا يتجنب عنق زجاجة التكميم كليًا، ويخلق مشكلة مختلفة: يحتفظ النموذج الآن بدالتي هدف وبخطي أخذ عينات، وجعلهما يُحسَّنان معًا مشروع هندسي وليس سؤالًا بحثيًا. كل ablation يصبح أغلى بالضعف.

كلا الطريقين يتضمن ترجمة إحدى الوسيطتين إلى صيغة الأخرى. ذلك هو التنازل الذي يرفضه Multimodal Flow.

هدف واحد، صيغتان أصليتان

يُبقي التصميم اللغة في فضاء embedding المتصل الخاص بها، والصور في فضاءها، ويشترك في هدف Flow Matching واحد بينهما.

مجريان من مسحوق ناعم، أحدهما أزرق باهت والآخر رملي دافئ، يتساقطان جنبًا إلى جنب ويبدآن في التشابك.

على نحو ملموس: يُقسَّم النص إلى chunks من ثمانية tokens، ويُشفَّر كل chunk بواسطة T5-small مجمّد إلى text hyperchunk متصل. تمر الصور عبر مشفّر SigLIP2 مجمّد وتخرج كشبكة مكانية 16 في 16، مكوّنة visual hyperchunk. تُربَط الـ hyperchunks في تسلسل واحد بالترتيب الذي تتطلبه المهمة، وتُغذَّى إلى Chunk-Causal Flow backbone مشترك.

قناع الانتباه هو الجزء الذكي. عند التنبؤ بالـ hyperchunk رقم k، تكون كل الـ hyperchunks السابقة مرئية بالكامل، وتُنمذَج المواضع داخل الـ chunk الحالي معًا، وتُقنَّع الـ chunks اللاحقة. تتحقق السببية على مستوى الـ chunk، وتتدفق المعلومة بحرية داخل الـ chunk. هذا ما يسمح بتوليد visual hyperchunk من 256 خلية كصورة متماسكة بدلًا من 256 قرارًا مستقلًا.

الخيار التصميمي الثاني هو هجين داخل الـ transformer. طبقات الانتباه مشتركة، فيمكن للغة والرؤية أن تنتبه إحداهما للأخرى. أما طبقات FFN فتبقى خاصة بكل وسيطة، لأن إحصاءات تمثيل الاثنتين مختلفة بما يكفي لأن يجعل إجبارهما في كتلة feedforward واحدة مؤذيًا. تقول الـ ablations في الورقة إنها تؤكد ذلك، وهذا نوع التفاصيل الذي يوفر على الجميع ثلاثة أشهر.

الـ chunks النصية بطول ثمانية tokens، وهذا تنازل متعمد. الـ chunks الأصغر تعطي تحكمًا أدق ومواضع تسلسل أكثر. الـ chunks الأكبر تجعل القناع السببي أرخص. ثمانية هو الموضع الذي استقرت عنده المقايضة.

الأرقام

من النص إلى الصورة: GenEval إجمالي 0.821، ومحاذاة الـ prompt الطويل في DPG-Bench 83.44. في المهمة الفرعية للعدّ في GenEval يصل MF-1 إلى 0.73، وهو متقدم بوضوح على النماذج الموحدة بالحجم نفسه. ظلّ العدّ مصدر إحراج للمعماريات الموحدة لأنه يتطلب ربط رقم بعدة حالات، ويبدو أن نمذجة chunk بصري معًا تساعد في ذلك.

الفهم: VQAv2 72.6، وMMBench 67.2، وPOPE 86.1، بمتوسط 75.3. هذا المتوسط يتجاوز بعض النماذج بالحجم نفسه المهيّأة من نموذج لغوي مدرَّب مسبقًا، وهذا هو المفاجئ. البدء من LLM مدرَّب مسبقًا عادةً ما يكون أداءً مجانيًا.

المقارنة المضبوطة هي الجزء الذي يجعل الورقة تستحق القراءة. البيانات نفسها، وميزانية المعاملات نفسها، والمحسِّن نفسه، ويتفوق Multimodal Flow على كل من الهجين على طريقة Transfusion والمعمارية المنفصلة على طريقة Chameleon في GenEval وGQA وVQAv2 وMMBench. ليس بنقطة في benchmark واحد. بل على مستوى المجموعة كلها.

لماذا العدّ هو الاختبار المهم

من بين كل المهام الفرعية في GenEval، العدّ هو ما يفصل المعماريات بأكثر نظافة.

طلب ثلاث تفاحات حمراء من نموذج يتطلب شيئين في آن: عليه أن يمثّل الرقم ثلاثة، وأن يربط هذا الرقم بثلاث حالات مختلفة لجسم، كل منها يجب أن يكون أحمر وشكل تفاحة. النماذج ذات الـ tokens المنفصلة تميل إلى إنتاج اثنتين أو أربع. ونماذج الانتشار تميل إلى إنتاج كتلة معقولة وتأمل ألا يعدّ أحد. الأنظمة الهجينة تقترب أكثر لأن جانب الصورة متصل، لكن جانب النص لا يزال عليه تسليم عدد أصلي يصمد عبر التسليم.

حصول MF-1 على 0.73 في تلك المهمة الفرعية أهم من رقم 0.821 الإجمالي، لأن الرقم الإجمالي يحمله جزئيًا prompts سهلة عن الألوان والأجسام البسيطة.

لماذا 150 مليار token هي الادعاء الحقيقي

تُدرَّب النماذج متعددة الوسائط المتقدمة على أعداد tokens بالترليونات. استخدم MF-1 مئة وخمسين مليارًا، بـ 1.6 مليار معامل، ووصل إلى GenEval 0.821.

إن كان ذلك قابلًا للتوسع، فهو يغيّر افتراضًا. الإجماع الحالي أن النماذج متعددة الوسائط الموحدة مكلفة لأنها تحتاج بيانات هائلة لتتعلم الوسيطتين جيدًا. تقترح هذه الورقة أن جزءًا كبيرًا من تلك الكلفة كانت المعمارية تدفعه ثمنًا للتنازل: تكميم الصور يكلّف جودة، فتشتريها ببيانات أكثر؛ والاحتفاظ بهدفين يكلّف كفاءة تحسين، فتشتريها بحساب أكثر.

أزل التنازل وتمضي الميزانية نفسها أبعد. هل يصمد ذلك عند 10 مليارات أو 100 مليار معامل؟ لا جواب، والورقة لا تدّعي ذلك. الفريق صريح في أن هذه مقياس واحد بخلطة بيانات واحدة.

هناك أثر من الدرجة الثانية يتصل بأعمال أخرى هذا العام. ثمة خط بحثي منفصل يحاول إزالة الـ VAE من توليد الصور كليًا، بحجة أن ضغط الصورة إلى latent ثم إخراجها يفقد معلومات لم يطلب أحد فقدها. يُبقي Multimodal Flow المشفّر ويتوقف عن معاملة مخرجه كشيء يجب إعادة التعبير عنه كـ tokens شبيهة باللغة. يبقى الـ hyperchunk البصري بصريًا من البداية إلى النهاية. هذا هو الحدس نفسه.

ما لا يحلّه هذا

ثلاثة حدود يجدر ذكرها.

المشفّرات مجمّدة. لم يُدرَّب T5-small وSigLIP2 مع الـ flow backbone، ما يعني أن سقف جودة التمثيل يُحدَّد في مكان آخر. مشفّر مدرَّب معًا سيكون أفضل على الأرجح، وسيكلّف أكثر بكثير.

دقة الصورة 16 في 16 بمصطلحات الشبكة الكامنة، وهذا مناسب لـ GenEval وغير كافٍ لأي شيء يتعلق بعرض النصوص أو التفاصيل الدقيقة. جودة التوليد بدقة عالية ليست موضوع هذه الورقة.

وهذا أثر بحثي. الكود على GitHub في hustvl/Multimodal-Flow، والأوزان نقطة انطلاق لا منتج، ولا توجد API مستضافة. لن يستبدل أحد خط أنابيب الصور لديه به الأسبوع القادم.

ما يفعله هو تضييق فضاء المستقبلات المعقولة. إن كان نموذج متصل تمامًا بحجم 1.6B قادرًا على التفوق على المعماريتين الموحدتين الراسختين بالميزانية نفسها، فإن الجولة القادمة من النماذج التأسيسية متعددة الوسائط لديها خيار تصميمي ثالث لم يكن موجودًا في النقاش قبل ستة أشهر. ولمجال أنفق حسابًا كثيرًا في الجدال حول الـ tokenizers، هذا شيء مفيد على الطاولة.

مقالات ذات صلة

جدول نقرات يديره المجتمع يطفئ الإعلانات داخل بناءات أندرويد الصينية

لا يمس النظام، ولا يفتح القفل، ولا يكتب أي شيء على الجهاز. يقلب فقط المفاتيح التي عرضتها الشركات أصلاً. الثمن قائمة يجب أن يظل أحدهم يكتبها.

GPT Image 2.6 أبقى على سعر الرموز ورفع الفاتورة

أبقى GPT Image 2.6 على كل أسعار الرموز كما كانت في 2.5، ومع ذلك صارت الصورة الواحدة أكثر كلفة، لأن جزءاً أكبر من العمل يجري الآن في رموز الإخراج. بعد أحد عشر يوماً من الإطلاق، تقول بنية التسعير أكثر مما تقوله لوحة الصدارة.

أحدهم أعاد بناء IDM من الخارج وكتب ما لم يمسّه

إعادة تنفيذ بلغة Rust لبرنامج Internet Download Manager تزعم سرعة أكبر بخمسة أضعاف ودعماً لـ 86 لغة. والوثيقة الأكثر إثارة للاهتمام هي الفقرة التي تشرح كيف بُني المشروع دون نسخ أي شيء.

Rune إطار عمل UI بلغة Rust صُمم كي يستطيع الوكيل التحقق من عمله

يرسم Rune بلا واجهة، ويفرّغ شجرة عناصره، ويقبل إدخالًا مكتوبًا، ما يمنح وكيل البرمجة إشارة قابلة للمقارنة لا تقدمها لقطة الشاشة أبدًا. الإطار في مرحلة ما قبل الإصدار ولا يستقبل pull requests.