PixelUMM يتخلّى عن المكوّنين اللذين تعتمد عليهما كل نماذج الذكاء الاصطناعي البصرية

في 1 أكتوبر، أصدر مطوّر يُنشر باسم CongWei1230 نموذج PixelUMM، وهو نموذج متعدد الوسائط بلا مشفّر يتعامل مع فهم الصور والفيديو وتوليدهما مباشرةً في فضاء البكسل. الكود والأوزان المدرّبة متاحة للعموم. الجزء المثير هو ما لا يحتوي عليه النموذج.

تشترك معظم أنظمة الذكاء الاصطناعي البصرية التي بُنيت في السنوات القليلة الماضية في مكوّنين. يقوم المشفّر التلقائي التبايني (VAE) بضغط الصورة إلى تمثيل كامن مُدمج، ويعمل النموذج التوليدي في ذلك الفضاء المضغوط بدلاً من البكسلات الخام. وبشكل منفصل، تحوّل محوّلات الرؤية (ViT) الصورة إلى رقع يمكن لنموذج لغوي أن يستنتج بشأنها. يتخلى PixelUMM عن الاثنين. فهو يزيل الفضاء الكامن المستخدم للتوليد ومشفّر الرقع المستخدم للفهم، ويعالج البكسلات مباشرة.

هذا الادعاء معماري، ويستحق فهم سبب إبقاء الجميع تقريبًا على هذين المكوّنين.

ما الذي كان يقوم به المكوّنان

وُجد المشفّر التلقائي التبايني (VAE) لجعل التوليد ميسور الكلفة. صورة فوتوغرافية بأبعاد 1024 × 1024 وثلاث قنوات لونية تعني نحو ثلاثة ملايين رقم. تشغيل عملية انتشار على ثلاثة ملايين قيمة في كل خطوة مكلف، لذلك يضغط VAE الصورة إلى شبكة كامنة أصغر، ويعمل النموذج على إزالة التشويش هناك. المقايضة هي أن VAE يُدخل عنق زجاجة فاقدًا للبيانات. غالبًا ما تفقد التفاصيل الدقيقة وعرض النص الدقيق معلومات أثناء الضغط، وهذا أحد أسباب معاناة نماذج الصور المبكرة مع الكتابة الصغيرة.

وُجد ViT لجعل الفهم ممكنًا. تستهلك النماذج اللغوية الرموز (tokens)، ويحوّل ViT الصورة إلى سلسلة من تضمينات الرقع التي تشبه الرموز. هكذا يستطيع نموذج متعدد الوسائط الإجابة عن أسئلة حول صورة. المقايضة هي أن شبكة الرقع ثابتة، وقد تختلط المعلومات عند الحدود بين الرقع.

رهان PixelUMM هو أنه بالتخلي عن الاثنين، يستطيع توحيد الفهم والتوليد في إطار واحد وتجنّب التشوهات التي يُدخلها كل مكوّن.

لماذا هذا صعب

طُرح الانتشار على مستوى البكسل من قبل واصطدم مرارًا بالحوسبة. إذا كان نموذج كامن يزيل التشويش عن شبكة كامنة بحجم 128 × 128، فإن نموذج بكسل يزيل التشويش عن شبكة صورة بحجم 1024 × 1024، أي نحو 64 ضعفًا من المواضع في كل خطوة. تنفجر أطوال التسلسل، وتتوسع كلفة الانتباه مع مربع طول التسلسل، والنتيجة هي فاتورة تدريب واستدلال لا تدفعها معظم المختبرات مقابل تحسّن معتدل في الجودة.

الفهم بلا مشفّر يواجه مشكلة مختلفة. تدريب نموذج ليستنتج مباشرة على البكسلات الخام يعني أنه يجب أن يتعلّم السمات البصرية من الصفر بدلًا من البدء من مشفّر رؤية مُدرّب مسبقًا. هذا قدر كبير من الإشراف يجب تعويضه، وليس واضحًا أن الفائدة تتجاوز الكلفة.

PixelUMM رهان على أن البساطة المعمارية والدقة تستحقان كلفة الحوسبة. الأوزان المنشورة هي الدليل لتقييمه. أما ما إذا كان يتفوق في الجودة مقابل الدولار فهذا سؤال مفتوح سيحسمه الأشخاص الذين يشغّلونه، لا منشور الإصدار. تلك هي دورة الحياة الطبيعية لأي مقترح معماري: مثير للاهتمام حتى يقيسه أحدهم، ثم يصبح مفيدًا أو منسيًا.

الجزء الجديد فعلًا

ما يجعل الإصدار يستحق الانتباه هو ادعاء التوحيد. تُجمّع معظم منظومات الإنتاج للصور والفيديو من أجزاء صُممت بشكل منفصل: VAE مُدرّب لغرض، ومحوّل انتشار لغرض آخر، ومشفّر رؤية لغرض ثالث. وكل وصلة بينها هي موضع يمكن أن يختلف فيه السلوك بين التدريب والنشر، وموضع تتراكم فيه الأخطاء.

إطار واحد يتعامل مع التوليد والفهم في التمثيل نفسه يزيل تلك الوصلات. إذا نجح، يصبح تصحيح أخطاء خط أنابيب متعدد الوسائط أبسط، لأن هناك تمثيلًا واحدًا ومجموعة واحدة من أنماط الفشل بدلًا من أربع.

هناك أيضًا قصة بيانات. النموذج الذي لا يضغط أبدًا لا يرث تشوهات الضغط، لذلك يمكنه من حيث المبدأ الحفاظ على التفاصيل الدقيقة، بما في ذلك النص والملمس الدقيق، دون مرحلة تنقية منفصلة. وهذا مهم لأي شخص يبني خطوط أنابيب للمستندات أو واجهات المستخدم أو صور المنتجات حيث تُعد الأخطاء الصغيرة مُقصية.

التوقيت ليس مصادفة

وصل PixelUMM في الأسبوع نفسه الذي جعلت فيه عدة أنظمة تجارية الحفاظ على التفاصيل ميزتها الرئيسية. أطلقت Black Forest Labs نموذج FLUX 3 Image بإخراج 4K وتحريرات إقليمية حافظة للبكسل، ووصلت متغيرات Imagen 4 من Google إلى منصة مستضافة. من الواضح أن السوق يكافئ النماذج التي تحافظ على ما كان لدى المستخدم بينما تغيّر فقط ما طلب المستخدم تغييره.

التوليد في فضاء البكسل هو إجابة باحث عن السؤال نفسه الذي تجيب عنه تلك المنتجات بالهندسة الصناعية. المسار التجاري يضيف دقة أعلى وأدوات تحرير فوق معمارية كامنة. أما مسار البحث فيزيل المعمارية الكامنة ويدفع ثمن ذلك بالحوسبة. كلاهما يحاول الوصول إلى النقطة التي تصمد فيها التفاصيل المولّدة أمام التدقيق، وسيحكم عليهما المستخدمون أنفسهم.

لماذا أطلق أحدهم هذا الآن

الإصدار أيضًا تعليق على أين وصل النظام البيئي المفتوح. على مدى عامين، تنافست مجتمع النماذج المفتوحة أساسًا على الحجم، ونشرت نماذج أكبر وأكبر مُدرّبة على مزيد من البيانات. أنتجت تلك المنافسة أنظمة قادرة حقًا، وأنتجت أيضًا الكثير من المعماريات المتشابهة جدًا، لأن جميعها تقريبًا تستخدم تصميم الانتشار الكامن نفسه وعائلة مشفّر الرؤية نفسها.

إطلاق نموذج بلا مشفّر هو طريقة للتنافس على البنية بدل الحجم. من الأرخص تجربة معمارية مختلفة بدلًا من إنفاق أكثر من أكبر المختبرات على بيانات التدريب، وهي مساهمة أكثر فائدة إذا نجحت. المجتمع الذي يكتفي بتوسيع التصاميم القائمة يتقارب نحو نهج واحد. أما المجتمع الذي يختبر البدائل فيبقي خيارات أكثر حيّة.

هذا هو التفسير المتسامح، وهو على الأرجح التفسير الصحيح. الأوزان المنشورة تمنح النهج جلسة استماع عادلة، وهذا أكثر مما تحصل عليه معظم المقترحات المعمارية.

ما الذي يُعد نجاحًا

الأوزان منشورة، لذا فإن الاختبارات رخيصة التشغيل وصعبة التزييف.

انظر إلى عرض النص. ينبغي أن يتعامل التوليد بلا مشفّر مع الخطوط الصغيرة أفضل من نموذج كامن بالميزانية نفسها، وإلا فلا سبب لقبول كلفة الحوسبة.

انظر إلى الذاكرة وزمن الاستجابة على مسرّع استهلاكي واحد. إذا كان النموذج يحتاج عتاد مركز بيانات لإنتاج صورة متواضعة، فسيبقى قطعة بحثية. وإذا عمل بسرعة مفيدة على بطاقة محطة عمل عالية الأداء، فيصبح أداة.

انظر إلى مسار الفيديو. يدّعي الإصدار تعاملًا موحّدًا مع الصور والفيديو، والفيديو هو حيث تعضّ حجة الحوسبة بأقصى قوة، لأن طول التسلسل الزمني يضاعف كل شيء. إن مقطعًا قصيرًا موثوقًا مولّدًا في فضاء البكسل سيكون أقوى دليل على النهج.

توقّع أن تكون النتائج متفاوتة. المعماريات الجديدة عادة كذلك، ونادرًا ما تحكي أول معايير الأداء العامة القصة كاملة. إصدار كهذا مهم لأنه يجعل افتراضات التصميم السائد صريحة، وقد عوملت تلك الافتراضات كأمور مستقرة لفترة كافية بحيث يكون من المفيد رؤية شخص يختبرها مباشرة.