نموذج برمجة مفتوح تعلّم أثناء العمل

نموذج برمجة مفتوح تعلّم أثناء العمل

أطلقت JetBrains نموذج Mellum2.1 في 8 أكتوبر. وهو نموذج mixture-of-experts بـ 12 مليار معامل، صُمم لوكلاء البرمجة، ومتاح على Hugging Face بموجب رخصة Apache 2.0. هذه الحقائق وحدها تجعله واحدًا من إصدارات متشابهة عدة هذا الشهر. ما يميّزه هو طريقة تدريبه.

يعتمد التدريب اللاحق لنموذج Mellum2.1 على التعلّم المعزّز داخل بيئات برمجة حقيقية. ليس منصة اختبارات محاكاة، وليس مجموعة بيانات ثابتة من مسائل محلولة. يستكشف النموذج المستودعات، ويعدّل الملفات، ويفحص تغييراته بنفسه، كما يفعل المطوّر أثناء عمله.

لماذا يهم إعداد التدريب أكثر من عدد المعاملات

معظم نماذج البرمجة اليوم تُدرَّب على توقّع الجزء التالي من الشيفرة، ثم تُضبط بدقة على أمثلة من الرقع الجيدة. هذا خط معالجة معقول، وينتج نماذج قادرة على الإكمال والشرح. لكنه إعداد ضعيف لواقع مستودع فوضوي لا يكتمل بناؤه، حيث يكسر الإصلاح الأول اختبارًا، ويكسر الإصلاح الثاني شيئًا آخر.

المهارة المطلوبة ليست كتابة دالة. بل إغلاق الحلقة: صياغة فرضية، تغيير شيء، ملاحظة النتيجة، التصحيح. التدريب بالتعلّم المعزّز في بيئة حيّة يكافئ هذا السلوك بالتحديد، لأن المكافأة تأتي من كون التغيير نجح فعلًا.

وهذا هو التحول نفسه الذي جعل وكلاء البرمجة مفيدين أصلًا. النموذج الذي لا يجيد إلا كتابة الشيفرة هو إكمال تلقائي متطوّر. أما النموذج الذي يستطيع تشغيل الاختبارات وقراءة الإخفاقات والمحاولة مجددًا فهو شريك عمل. بيانات تدريب Mellum2.1 هي الحلقة نفسها.

نموذج بـ 12 مليار معامل حجم مقصود

اثنا عشر مليار معامل رقم صغير مقارنة بالحدود القصوى. وهذا هو المقصود. يعمل وكيل البرمجة في حلقة محكمة، يقرأ الملفات وينفّذ الأوامر ويفحص الفروق، فيُستدعى باستمرار. النموذج الرخيص في التشغيل والسريع في الاستجابة يمكن استخدامه بجرأة أكبر بكثير من نموذج يكلّف مالًا حقيقيًا عند كل خطوة.

ويقوّي تصميم mixture-of-experts الفكرة ذاتها. تبقى التنشيطات لكل رمز متواضعة حتى مع نمو السعة الإجمالية، ما يبقي الاستدلال رخيصًا دون أن يحرم النموذج من المعرفة. ولأداة قد تُستدعى عشرات المرات لإنجاز مهمة واحدة، هذه المقايضة هي الصحيحة تمامًا.

يتشكّل نمط عبر شهر أكتوبر. نماذج صغيرة ومتخصصة ومفتوحة الترخيص تظهر للقيام بالعمل المتكرر داخل أنظمة أكبر: هنا JetBrains، ثم نماذج القرار من Liquid AI، ونسخة 27B المضغوطة من Underdog AI. النموذج الحدودي يحدّد السقف. والنماذج الصغيرة تحدّد الأرضية، وعند الأرضية تُصرف معظم الرموز.

الأوزان المفتوحة كاستراتيجية توزيع

JetBrains ليست مختبرًا يتنافس على عروش الاختبارات المعيارية. إنها تبيع أدوات للمطوّرين، ودافعها هو تحسين هذه الأدوات، لا حراسة نموذج. إصدار Mellum2.1 بموجب Apache 2.0 يتيح للنموذج الانتشار عبر المنظومة، بما في ذلك إلى محرّرات منافسة وأطر تشغيل الوكلاء.

هذا يستحق الملاحظة. عندما تفتح شركة أدوات الشيفرة لنموذج برمجة، فهي تراهن على أن القيمة في التكامل وسير العمل، لا في الأوزان. وهو الرهان نفسه الذي تخوضه كثير من شركات البنية التحتية هذا العام، وهو رهان يميل إلى الصمود جيدًا مع الوقت. النموذج الذي لا يستطيع أحد تبنّيه هو نموذج لا يمكن أن يصبح معيارًا.

ورخصة Apache 2.0 مهمة تحديدًا للتبنّي. فالترخيص المتساهل يزيل المراجعة القانونية التي تبطئ الشركات الكبيرة عند تجربة نموذج جديد. ولشركة عملاؤها هم تحديدًا تلك الشركات، فإن إصدار نموذج بترخيص متساهل طريقة لغرس الأُلفة قبل بيع أي شيء.

كيف يُقارن بنماذج البرمجة الحدودية

نماذج البرمجة الحدودية أفضل في المسائل الصعبة. هذا غير محلّ خلاف، ومن غير المرجّح أن يتغيّر قريبًا. الخلاف يدور حول ما إذا كانت كل مهمة برمجة تحتاج النموذج الحدودي. معظمها لا يحتاج. إعادة تسمية دالة في مشروع كامل، تحديث اعتماد، كتابة اختبار لسلوك قائم: هذه مهام شائعة ومملّة وفي متناول نموذج صغير مزوّد بإطار تشغيل جيد.

لا يحاول Mellum2.1 التغلّب على أكبر النماذج في أفضل مهامها. بل يحاول أن يكون جيدًا بما يكفي في المهام التي تملأ يوم المطوّر. وهذا هدف أضيق، وأكثر صمودًا، لأنه لا يعتمد على الفوز في سباق لن يفوز به.

وهناك أيضًا سبب استراتيجي يدفع شركة أدوات إلى الإبقاء على النموذج بهذا الحجم. النموذج الصغير بما يكفي للعمل محليًا يمكن تقديمه دون فاتورة لكل استعلام، ما يزيل القياس الذي يجعل المطوّرين يتردّدون في استخدام الوكلاء بحرية. والمحرّر القادر على استدعاء نموذجه الخاص دون رحلة عبر الشبكة منتج مختلف عن محرّر لا يستطيع، ويظهر الفرق في مدى جرأة المستخدمين في الاعتماد عليه.

لماذا يختلف التعلّم المعزّز في بيئة حقيقية

يستحق الفرق بين التدريب على الأمثلة والتدريب على النتائج مرورًا آخر، لأنه التفصيل الأكثر أثرًا في هذا الإصدار. النموذج المدرّب على الأمثلة يتعلّم كيف يبدو المخرَج الجيد. والنموذج المدرّب على النتائج يتعلّم أي الأفعال تؤدي إلى نتائج جيدة، وهي مهارة مختلفة وأصعب.

الأفعال متتاليات. الرقعة التي تجتاز الاختبارات ليست قرارًا واحدًا بل سلسلة منها: أين تنظر، وماذا تغيّر، وماذا تشغّل، وكيف تقرأ إخفاقًا. التعلّم المعزّز في بيئة حيّة يمنح النموذج إشارة على السلسلة كاملة، وهي الطريقة الوحيدة ليتعلّم أن بعض الخيارات المعقولة محليًا تؤدي إلى مكان سيئ. وهذه هي الحكمة وراء استخدام مستودعات حقيقية بدل مجموعة منتقاة من المسائل.

هذا النهج أغلى وأكثر هشاشة في التشغيل من الضبط الدقيق بإشراف، ولهذا لا تعتمده نماذج أكثر. وهو يميل أيضًا إلى إنتاج وكلاء يتصرّفون أفضل في المواقف غير المألوفة، لأنهم تدرّبوا على التعافي من الخطأ بدل الاكتفاء بمحاكاة الصواب.

ما يستحق المتابعة

الاختبار الواضح هو ما إذا كان وكيل بـ 12 مليار معامل مدرّب بهذه الطريقة يصمد في مهمة مستودع حقيقية: تشخيص اختبار فاشل، اقتراح رقعة، التحقق من النتيجة. وإن فعل، يصبح السؤال المثير: إلى أي مدى يمكن لنموذج مفتوح صغير أن يقترب من جودة البرمجة الحدودية إذا مُنح إطار تشغيل جيدًا وحلقة تغذية راجعة محكمة.

هذا السؤال أكثر أهمية من أي إصدار نموذج منفرد. فإذا تقلّصت الفجوة بين وكيل بـ 12 مليار معامل ونموذج حدودي عمليًا، فإن جزءًا كبيرًا من سوق وكلاء البرمجة يتوقف عن كونه حول من يملك أفضل نموذج ويصبح حول من يملك أفضل الأدوات حول نموذج جيد بما يكفي. وMellum2.1 نقطة بيانات صغيرة وملموسة في ذلك الاتجاه، والاتجاه هو ما يهم.