أعادوا بناء نموذج رؤية مغلق ببيانات عامة وتقدموا عليه في معيار واحد

أعاد فريق بحثي بناء نموذج رؤية مغلق باستخدام نماذج وبيانات عامة فقط، وهو يتقدم عليه في معيار واحد على الأقل.
الرقم هو 73.9 mIoU بنمط zero-shot على Cityscapes لنموذج بحجم 9B، مقابل 69.9 المعلنة لـ Vision Banana. هذه المقارنة هي العنوان، لكن التفاصيل تحتها أنفع.
ما الذي بُني
يصدر Open Vision Banana عن Fundamental AI Lab في جامعة نورمبرغ للتقنية، بمشاركة باحثين من DLR وAIST وتوبنغن وTUM وvaleo.ai. الطريقة: ضبط دقيق لمولّد مفتوح الأوزان موجود، هو FLUX.2-Klein، بالمقياسين 4B و9B، على ما بين 2.1 و3.8 مليون زوج تدريبي جُمعت من مجموعات بيانات عامة منها COCO-Stuff وADE20K وBDD100K وNYUv2.
التأطير مهم. هنا يُعاد توظيف مولّد في الإدراك: العمق والتقسيم والإحالة والاستدلال، مع الإبقاء على سلوك تحرير الصور الذي بدأ به. قدرة النموذج الأساسي على التوليد تنجو من الضبط الدقيق، ولهذا تتجاوز النتائج درجة التقسيم.
الرقم 73.9 يحتاج إلى حاشية
رقم zero-shot على Cityscapes يعتمد على تقنية يقدمها المؤلفون ويسمونها legend ensembling.
تمريرة أمامية واحدة تعطي 65.4 mIoU. الفارق حتى 73.9 يأتي من تشغيل النموذج عدة مرات بمفاتيح ألوان إلى أصناف مختلفة، ثم دمج المخرجات بتصويت أغلبية لكل بكسل. يضيف ذلك 8.7 نقطة على Cityscapes، و15.0 نقطة على COCO-Object.
إذن القراءة الصادقة للعنوان تقول إن النموذج يحتاج تمريرات عدة للوصول إلى هناك، وإن فائدة الطريقة تتزايد بمقدار استفادة المهمة من التصويت. في خط معالجة حساس للكمون، حيث تمريرة واحدة هي الميزانية كلها، ما تحصل عليه هو 65.4.
هذا ليس نقداً للورقة. المؤلفون يذكرون الرقمين، وهذا ما لا تفعله جداول معايير كثيرة. إنه تذكير بكيفية قراءة ادعاء mIoU يصل بلا عمود تكلفة.
أين تتسع الفجوة
انتصار التقسيم لا ينتقل إلى كل شيء، والورقة تقول ذلك.
في التقسيم بالإحالة والتقسيم بالاستدلال، تبقى المتغيرات غير zero-shot ضمن خمس نقاط من Vision Banana. أما تقسيم الأمثلة فيتخلف بوضوح: 37.4 cgF1 مقابل 47.5 على SA-Co/Gold.
في تقدير العمق، توصف النتائج بأنها تنافس أفضل مقدّرات العمق الثابتة تحت التحويل الأقيني، وهي صياغة حذرة للادعاء بالتكافؤ في ميدان مزدحم.
الصورة الكاملة: نموذج يضاهي الأساس المغلق أو يتجاوزه في المهمة التي حسّن المؤلفون من أجلها، ويقترب في مهمتين مجاورتين، ويتخلف في الفصل على مستوى المثال. هكذا يبدو الاستنساخ الجيد. أما استنساخ يفوز في كل مكان فسيكون مريباً.
الإصدار هو المساهمة الحقيقية
الاستنساخات الأكاديمية تسلّم عادة ورقة ولا شيء غيرها. هذه تسلّم خط البيانات، وشيفرة التدريب والتقييم، ونقاط الحفظ النهائية والوسيطة.
هذا المزيج هو ما يجعل النتيجة قابلة للفحص. بنقاط الحفظ الوسيطة ترى هل تعلّم النموذج العمق قبل التقسيم أم العكس، ويمكنك الضبط الدقيق من نقطة أبكر بدل دفع كلفة الجولة كاملة.
كلفة الحوسبة مذكورة أيضاً، وهذا نادر. نحو 73 ساعة على 16 من GH200 للنموذج 4B، وحوالي 79 ساعة على 32 من GH200 للنموذج 9B.
هذه الأرقام تحدد من يستطيع التكرار. ستة عشر من GH200 عنقود جامعي أو مختبر جيد التمويل، وليس حاسوباً محمولاً. واثنان وثلاثون تخصيص جاد. نشر الوصفة لا يجعلها رخيصة، وكون نسخة 4B تنفع بقدر ما تنفع نسخة 9B تقريباً هو ما يجعلها في المتناول: عقدان من GH200 لثلاثة أيام طلب منحة، لا مركز بيانات.
لماذا يهم استنساخ نموذج مغلق
كانت نتائج Vision Banana الأصلية مثيرة للاهتمام لأن لا أحد خارج الشركة يستطيع التحقق منها. استنساخ يقع على بعد نقاط قليلة في معظم المهام ويتقدم في واحدة يغيّر وضع تلك النتائج: من ادعاء إلى هدف.
هناك أثر جانبي يُغفل عادة. حين تُستنسخ تقييمات نموذج مغلق على أوزان مفتوحة، تصبح المقارنة بين بيانات التدريب والطريقة بدل الحجم. تطابق نموذج 9B مع نظام مغلق يوحي بأن الميزة كانت في مزيج البيانات وصياغة المهام، وكلاهما قابل للتكرار.
يتركز معظم الجهد في بناء مجموعة البيانات. COCO-Stuff وADE20K وBDD100K وNYUv2 كلها عامة، وموسومة لأغراض مختلفة، ولم تُبنَ واحدة منها لتدريب نموذج موحّد يتناول العمق والتقسيم والتحرير معاً. انتزاع ما بين 2.1 و3.8 مليون زوج منها يعني التوفيق بين فضاءات تصنيف لا تتفق. عمل غير لامع، وعلى الأرجح هنا ذهب معظم الوقت.
إذا كانت الوصفة قابلة للنقل، فالسؤال التالي هو هل تنطبق الحيلة نفسها على نماذج إدراك مغلقة أخرى. النمط عام: خذ مولّداً مفتوحاً قوياً، اضبطه على مجموعة إشراف كبيرة مجمّعة، ثم قيّمه على مهام عدة لتظهر الفجوات. لا يحتاج هذا إلى معمارية جديدة، ولهذا يبدو مقلقاً لمن كان خندقه مزيج تدريب غير منشور.
أثر ثالث: النموذج الأساسي مولّد. إذا غطّت الأوزان نفسها العمق والتقسيم والتحرير، فيمكن لخط إنتاج أن يستبدل ثلاثة نماذج متخصصة ونموذج تحرير بنقطة حفظ واحدة، مقابل بعض الدقة في أصعب عمل على مستوى المثال. قِس هذه المقايضة على بياناتك، لا على Cityscapes.
ما الذي نأخذه
الدرس القابل للنقل في بنية الادعاء، والرقم 73.9 ليس إلا الغلاف: استنسخ، وأبلغ بصدق عن الفجوة لكل مهمة، وانشر الوسائط، واذكر كلفة الحوسبة.
أمام عنوان من نوع «يتجاوز النموذج المغلق»، تنفع الأسئلة الثلاثة نفسها. هل يتضمن الرقم حيلة في زمن الاستدلال، وبأي كلفة. هل يصمد الفوز في المهام التي لم يُحسَّن لها النموذج. هل يستطيع من يملك عنقوداً أصغر الوصول إلى فارق نقاط قليلة بالوصفة المنشورة.
يجيب Open Vision Banana عن الثلاثة في المتن، ولهذا تستحق الورقة قراءة تتجاوز الملخص.
يبقى سؤال مفتوح، وهو ما سيسأله المشتري. تُظهر الورقة أن بيانات عامة ونموذجاً أساسياً عاماً يستطيعان استنساخ أرقام نظام مغلق في المعايير. ولا تُظهر أن الاستنساخ نافع مع المدخلات الفوضوية التي يتلقاها المنتج فعلاً: صور سيئة الإضاءة، ولقطات شاشة للقطات شاشة، وصور نصوصها مطبوعة داخلها، واقتصاصات أصغر من توزيع التدريب. معايير مثل Cityscapes مرتبة بطبيعتها.
في تلك الفجوة ستحدث الجولة التالية من المقارنات، وهناك تتقدم نقطة الحفظ المفتوحة على المغلقة. أي أحد يستطيع اختبارها على بياناته غداً.
مقالات ذات صلة
AMD ربحت 19% لمجرد أنها الخيار الآخر
المال لم يخرج من الذكاء الاصطناعي. خرج من الاسم الوحيد الذي واجه مشكلة حوكمة، وذهب إلى الاسمين الذين لم يواجها.
عشر تخفيضات في أربع جلسات، ولا رقم جديد واحد
لم ينشر أحد رقمًا جديدًا عن دفتر الطلبات. الذي تغيّر ليس منتصف النطاق، بل عرضه — وهذا وحده كافٍ لتغيير تصنيف.
أول ربع بعد رحيله: الأرقام محسومة، والأسئلة ليست كذلك
الربع نفسه ليس محل شك، أما الأرباع الأربعة التالية فهي المسألة كلها. ورئيسة تنفيذية مؤقتة لديها مكالمة واحدة لتشرح ما لا تستطيع الأرقام شرحه.
جدول نقرات يديره المجتمع يطفئ الإعلانات داخل بناءات أندرويد الصينية
لا يمس النظام، ولا يفتح القفل، ولا يكتب أي شيء على الجهاز. يقلب فقط المفاتيح التي عرضتها الشركات أصلاً. الثمن قائمة يجب أن يظل أحدهم يكتبها.