نموذج 27B مضغوط إلى بتّين لكل وزن

نموذج 27B مضغوط إلى بتّين لكل وزن

في 9 أكتوبر، أصدرت Underdog AI نموذج Saluki 27B، وهو إصدار مضغوط من نموذج Qwen 3.8 27B. الضغط جسور: بتّان لكل وزن، ما يحشر الكل في ملف بحجم نحو 7.89 جيجابايت. تقول Underdog إن النتيجة تحافظ على نحو 96 بالمائة من أداء النسخة الأصلية في المعايير، وإنها في مهام استدعاء الأدوات تتفوق فعلاً على النموذج كامل الحجم. ويصدر تحت رخصة Apache 2.0 لتدفقات عمل الوكلاء المحلية.

الأرقام تبدو كخطأ مطبعي. تقليص نموذج إلى ربع عمق البتات عادةً ما يضحي بقدر كبير من الجودة. وادّعاء Saluki أنه لم يفعل، وأنه في المهمة الوحيدة الأهم للوكلاء صار أفضل.

لماذا التكميم عند بتّين صعب

تُخزَّن أوزان النموذج كأرقام، وعدد البتات لكل وزن يحدد مقدار الدقة التي يحتفظ بها كل وزن. عند 16 بتاً، يمكن للوزن أن يأخذ واحدة من عشرات الآلاف من القيم. وعند بتّين، يمكنه أن يأخذ واحدة من أربع. أنت تطلب من شبكة مبنية على فروق دقيقة أن تعبر عن نفسها بمفردات لا تكاد توجد.

سبب فشله عادةً هو تراكم الأخطاء. قرّب كل وزن قليلاً فينحرف ذلك الطبق قليلاً. وراكم عشرات الأطباق المنحرفة قليلاً فيبتعد الخرج كثيراً عن الأصل. وتعتبر معظم أعمال التكميم أربع بتات حدّاً أدنى عملياً، وتقبل بعض فقدان الجودة دون ذلك.

الطرق التي تنزل أبعد لا تقرّب بقوة أكبر فحسب. إنها تقرر أي الأوزان يمكنها تحمّل الخشونة وأيّها يجب أن يبقى حاداً، وغالباً ما تضبط النموذج المضغوط بعد ذلك لإصلاح الضرر. وجعل بتّين يتماسكان عملية دقيقة وهادفة، لا عملية فظة.

نتيجة استدعاء الأدوات هي الجزء المثير

أن يضاهي Saluki الأصل في المعايير العامة أمر يستحق الانتباه. وأن يتفوق على الأصل في استدعاء الأدوات أغرب، ويشير إلى شيء حقيقي. استدعاء الأدوات مهمة منظمة: على النموذج أن يصدر اسم دالة ووسائط صحيحة، وأي تفاوت صغير يهدم الأمر كله. والنموذج الأكثر ضجيجاً قليلاً قد ينتج خرجاً أكثر تنوعاً قليلاً، وقد يعني ذلك في هذا السياق أنه يتعثر أقل في الحالات الحدّية.

وهناك تفسير أبسط أيضاً. إذا تضمّنت عملية الضغط ضبطاً دقيقاً على بيانات استخدام الأدوات، فإن النموذج الناتج ليس أصغر فحسب، بل إنه أضيق في الاتجاه الصحيح. يمكن للمتخصص أن يتغلب على العام على تخصصه بينما يخسر في كل ما عدا ذلك. القراءة الصادقة هي أن Saluki نموذج مضغوط وُجِّه أيضاً نحو عمل الوكلاء، والتغييران معاً يفسّران النتيجة.

كثافة الذكاء هي المقياس المهم هنا

تصف Underdog التحسين بأنه زيادة في الذكاء لكل جيجابايت، نحو 7.5 ضعف الأصل. وهذا الإطار دقيق تماماً لحالة الوكيل المحلي. عندما تشغّل نموذجاً على جهازك، فإن القيد ليس نتيجة المعيار، بل هل يتسع النموذج في ذاكرتك ويترك مساحة للتطبيقات من حوله.

نموذج 27B بدقة كاملة يحتاج عتاداً جدّياً. النموذج نفسه عند نحو ثمانية جيجابايت يعمل على حاسوب محمول، والحاسوب المحمول هو حيث يحدث فعلاً قدر كبير من عمل الوكلاء: قراءة الملفات، وتشغيل الأوامر، والتحقق من النتائج. قيمة الضغط ليست جمالية. إنها الفرق بين نموذج قادر يمكنك تشغيله محلياً ونموذج قادر لا يمكنك إلا استئجاره.

لماذا تتقارب نماذج الوكلاء المحلية نحو هذا الحجم

Saluki واحد من عدة نماذج صغيرة مفتوحة الترخيص تظهر للقيام بالعمل المتكرر داخل أنظمة أكبر. والنمط ثابت: نموذج بحجم نحو 7 إلى 30 مليار معامل، مضغوط بجسارة، برخصة متسامحة، موجّه إلى الحلقة الضيقة للوكيل.

المنطق نفسه في كل مرة. يستدعي الوكيل نموذجه مرات كثيرة في المهمة الواحدة، لذا تهيمن تكلفة كل استدعاء وزمن استجابته على التجربة. والنموذج الصغير بما يكفي ليعمل محلياً يزيل رحلة الشبكة ذهاباً وإياباً وفاتورة الرمز معاً، وهذا يغيّر مدى جسارة استخدامك للوكيل. فتكف عن محاسبة مساعدك الخاص.

وهناك سبب ثانٍ أكثر هدوءاً. النماذج التي تعمل محلياً لا ترسل بياناتك إلى أي مكان، وهذا يهم كل من يعمل على شيفرة أو مستندات لا يُسمح له برفعها. ولهذا الجمهور، الضغط ليس تحسيناً للتكلفة. إنه السبيل الوحيد للحصول على نموذج قادر أصلاً.

حجة الملفات الصغيرة، برقم واحد

من المفيد جعل فرق الحجم ملموساً. نموذج بـ27 مليار معامل عند 16 بتاً يشغل نحو 54 جيجابايت قبل أي عبء تشغيلي. وهذا لا يتسع على معظم الحواسيب المحمولة، ولا يتسع في الذاكرة المتبقية بعد أن يأخذ نظام التشغيل والمتصفح والمحرر نصيبهم. وعند بتّين، يستقر العدد نفسه من المعاملات قرب 8 جيجابايت، وهو ما يتسع، ويتسع إلى جانب الأدوات التي يُفترض أن يقودها الوكيل.

هذه هي الحجة كلها لصالح الضغط منخفض البتات في حالة الوكيل المحلي. الأمر ليس تشغيل نموذج لم يكن يعمل إطلاقاً من قبل، وإن كان هذا جزءاً منه. الأمر هو تشغيل نموذج بارتياح يكفي ليستدعيه الوكيل مراراً دون أن يلاحظ الجهاز، لأن الوكيل الذي يُبطئ النظام كله وكيل لا يُبقيه أحد مشغّلاً.

ما يجب فحصه قبل تصديقه

تستحق النماذج المضغوطة نوعاً محدداً من التشكيك. قد يصمد المعيار العنواني بينما يتدهور النموذج على المدخلات الطويلة الفوضوية التي ينتجها العمل الحقيقي. وغالباً ما يظهر ضرر التكميم أولاً في التنسيقات غير المعتادة والسياقات الطويلة واللغات النادرة، ولا يلتقط معيار قصير أياً منها.

كذلك يهم ما الذي يصفه بتّان. فعمق البتات لكل وزن، وأحجام المجموعات، وما إذا كانت بعض الأطباق تُبقى بدقة أعلى، كلها تغيّر معنى الرقم. وبتّان في مخطط ليسا كبتّين في مخطط آخر، والفرق ليس واضحاً من بطاقة النموذج.

إلى ماذا يفضي كل هذا

الجدل حول الحدود يدور حول أكبر نموذج يستطيع أحد تدريبه. وهناك جدل موازٍ، لا يقل أهمية، حول أصغر نموذج يظل جيداً بما يكفي ليكون مفيداً على عتادك الخاص. ويقف Saluki 27B في الجدل الثاني، ويطرح ادّعاءً محدداً قابلاً للاختبار: أن بتّين يكفيان للعمل الذي يقوم به الوكلاء فعلاً.

إذا صمد هذا الادّعاء خارج المعيار، فإنه يخفض الحد الأدنى لما يمكن للشخص تشغيله محلياً، وعند حد أدنى أخفض عادةً ما تُبنى الموجة التالية من المنتجات. القصة ليست النموذج، بل تقلّص النموذج.

يجدر التذكير بأن هذا مجال فتِيّ. فالطرق التي تجعل أوزان البتّين تعمل ما زالت تُكتب، وكل إصدار هو عرض لتقنية ضغط بقدر ما هو منتج. وSaluki مثير للاهتمام ليس لما هو عليه اليوم بقدر ما هو لما يثبت أنه صار ممكناً تمريره عبر أنبوب ضيق. والنموذج التالي في هذا الخط سيكون أصغر أو أحدّ أو كليهما، وسينخفض الحد الأدنى مرة أخرى.