Harness² من Google Research: رفع أداء الوكيل بإعادة كتابة الهيكل لا بلمس أوزان النموذج

الهيكل، بمصطلحات اليوم، هو كل ما يحيط بالنموذج ويمكّنه من التصرف: مطالبة النظام، والأدوات، والذاكرة، والمهارات، والتنسيق. وعلى مدى عامين كان طريقك إلى تحسين وكيل هو تحسين النموذج. أما Harness² فيطرح سؤالًا آخر: ماذا لو تركت الأوزان كما هي وأعدت كتابة السقالة، لكل مهمة، تلقائيًا.
نشرت Google Research الورقة في أكتوبر (arXiv 2610.14224) وأطلقت الكود مفتوح المصدر برخصة Apache-2.0. وللمستودع نحو 22,000 نجمة. والادعاء محدد بما يكفي للمجادلة: خطوة تكرار واحدة تحسّن GLM-5 وGemini 3.5 Flash فوق هيكليهما الأساسيين، بمكاسب تصل إلى 11.5 نقطة في WorkBuddy-Bench، و4.5 نقطة في JobBench، و11.8 نقطة مئوية في معدل النجاح الجزئي في LAB.
بلا ضبط دقيق. بلا نموذج جديد. الأوزان مجمّدة طوال الوقت.
الأشياء الثمانية المسموح بتغييرها
يعرّض الإطار ثمانية مكوّنات قابلة للتحرير بالضبط، والقائمة أوضح تصريح بما يعتبره المؤلفون هيكلًا:
مطالبة النظام، وحدود الحماية، والذاكرة، وإرشاد الأدوات، والوكلاء الفرعيون، والمهارات، والسكربتات، والإضافات.
أربعة منها تبني السياق. واثنان يعرّفان واجهة الأدوات. وواحد ينسّق العمل المفوَّض. وواحد يتحكم في الوسيط. وإن كنت بنيت وكيلًا وشعرت أن نصف جهدك ذهب إلى هذه الثمانية ولا شيء منه إلى النموذج، فهذا المستودع صياغة رسمية لعملك.
وقائمة البنود الثمانية تعمل أيضًا كحدود. فHarness² لا يستطيع تغيير النموذج، ولا إعادة تدريبه، ولا لمس أوزانه. كل ما يفعله نص: إعادة كتابة تعليمات، وإضافة مهارة أو إزالتها، وتغيير وصف وكيل فرعي، وتعديل أي سكربت يُستدعى.

كيف يتحسن بلا تسميات
هذا هو الجزء الذي استغرق مني وقتًا لقبوله، لأنه يبدو كأنه لا يجب أن يعمل.
تسمى حلقة مستوى المهمة Propose–Probe–Compose، وتوصف بأنها تقابلية. يقترح محرر الهيكل نوعين من التعديلات: تعديلات ثابتة وتعديلات نطاقية. وتُنفَّذ الهياكل المرشحة على المهمة نفسها. ثم ينظر مُركِّب في الفروق السلوكية بين التشغيلات ويجمع منها هيكلًا محسّنًا.
لاحظ ما هو غائب: التغذية الراجعة بالحقيقة الأرضية. لا نموذج مكافأة، ولا تسمية بشرية، ولا إشارة «هذه الإجابة صحيحة». النظام يقارن تشغيلاته بنفسه ويسأل أي السلوكيات تختلف، ثم يحتفظ بالهيكل الذي أنتج السلوك الذي يريده.
وهذا يعمل لأن معظم إخفاقات الوكيل مرئية بلا تسمية. فالوكيل استدعى أداة بمعامل مشوّه. أو دار ثلاث مرات على الملف نفسه. أو كتب ملخصًا ولم يفتح المستند قط. لا تحتاج معرفة الجواب الصحيح لترى أن المسار كان مكسورًا. والمقارنة التقابلية كافية لإظهار ذلك، والهيكل الذي يتوقف عن إنتاج مسارات مكسورة يحصل على درجة أعلى في ما يقيسه المعيار.
والحلقة الثانية هي ما يجعله نظامًا لا حيلة. فهيكل التحسين الدائم يراكم الهياكل المتبناة والدروس المدعومة بالأدلة من كل مهمة، ويستخدمها لتوجيه التحسين التالي. بكلمات أخرى، يصبح أفضل في أن يصبح أفضل، والشيء الذي يتحسن ليس النموذج.
نتيجة المعيار، وكيف تُقرأ
ثلاثة معايير: JobBench للعمل المهني، وLAB للعمل القانوني، وWorkBuddy-Bench للمكتب والويب والكود. وأربع تهيئات من نموذج وهيكل. وخطوة تكرار واحدة.
والمكاسب، 11.5 نقطة و4.5 نقطة و11.8 نقطة مئوية، كبيرة لطريقة لا تغيّر شيئًا سوى النص. وهناك أمران يجعلانها أكثر قابلية للتصديق من ادعاءات معايير الوكلاء المعتادة.
أولًا، خطوط الأساس هياكل حقيقية لا نموذج عارٍ. فالمقارنة مع OpenCode وCodex، وهما سقالتان كفؤتان. والتغلب على سقالة كفؤة بـ11 نقطة في معيار مهام مكتبية ليس كالتغلب على استدعاء محادثة بسيط.
ثانيًا، تذكر الورقة أن زيادة ميزانية التكرار على مستوى المهمة تجلب مكاسب إضافية. والطريقة التي تعمل عند k=1 فقط هي عادة حيلة مطالبة حالفها الحظ. أما الطريقة التي تتوسع مع الميزانية فتقوم بالبحث، والبحث عادة حقيقي.
وما كنت سأريده قبل تصديق الأرقام المطلقة: كم من المكسب يبقى مع معيار مختلف في النطاق نفسه، وكم منه هو الهيكل يجد معيار التصحيح. هذا ليس نقدًا للمؤلفين، بل المشكلة القائمة مع كل معيار وكلاء في 2026.
تحذير نزاهة التقييم موجود في الملف
تحت بند «الوصول إلى الويب»، يقول الملف شيئًا يستحق الاقتباس لا إعادة الصياغة: وصول المنفّذ إلى الشبكة غير مقيّد، وCodex يعمل بتعطيل صندوق الحماية، وقد تكون معايير التصحيح العامة متاحة على الإنترنت. وقبل التقييم، اضبط قيود الشبكة لمنع الوصول إلى أجوبة المعيار ومعايير التصحيح.
هذا تحذير مباشر بشكل يستحق الإعجاب، وهو أيضًا اعتراف عن المجال كله. فإن كان وكيلك يملك إنترنت غير مقيّد ومعيارك له معايير تصحيح عامة، فجزء من تحسنك المقاس هو الوكيل يجد مفتاح الأجوبة. والمؤلفون يشيرون إليه ويقدمون العلاج. ومعظم الإصدارات لا تفعل.
والأمر يهم هنا أكثر من المعتاد، لأن تحسين الهيكل هو تحديدًا عملية البحث عن أي شيء يرفع الدرجة. أعطِ تلك العملية اتصالًا بالإنترنت ومعيارًا عامًا، وستكون قد بنيت باحثًا فائق الكفاءة عن معايير التصحيح.
ما يغيّره هذا لمن يبنون الوكلاء
ثلاثة تحولات عملية، إن صمدت الطريقة.
الهيكل يصبح أثرًا تُدير إصداراته. اليوم يعيش سلوك الوكيل في ملف مطالبة وقائمة أدوات وبعض المهارات، ويتغير حين يعدّل أحدهم المطالبة. أما Harness² فينتج هيكلًا متبنّى لكل مهمة، محفوظًا تحت runs/، مع ملاحظات تأمل. وهذا وحدة مراجعة أفضل بكثير من فرق في مطالبة نظام بأربعة آلاف توكن.
التخصص لكل مهمة يصبح رخيصًا. الفكرة كلها أن الهيكل يجب أن يُضبط على المهمة أمامه، لا أن يُشحن كتهيئة عالمية واحدة. وإن كانت خطوة تكرار واحدة ميسورة، وهي كذلك مقارنة بالضبط الدقيق، فإن «لدينا هيكل قانوني وهيكل مكتبي» يتوقف عن كونه قرار معمارية ويصبح قرار وقت تشغيل.
الوصف الوظيفي للنموذج يضيق. إن كان 11 نقطة تأتي من السقالة، فكثير مما يسمّيه الناس «قدرة النموذج» في معايير الوكلاء هو في الحقيقة جودة الهيكل، واللوحة تقيس الشيء الخطأ. وهذا استنتاج غير مريح لمن منتجه نموذج أساس، ومحرر لمن منتجه سير عمل.
الحد الصادق
Harness² يحسّن مقابل معيار. وهو لا يعرف ما تريد. فإن كان معيارك وكيلًا سيئًا لمستخدميك، وهو دائمًا كذلك قليلًا، فسيعظّم التكرار الوكيل بثقة، وستحصل على وكيل أفضل في الاختبار وليس أفضل في العمل.
هذا ليس عيبًا في الورقة، بل شكل المجال كله الآن: صرنا جيدين جدًا في قياس الوكلاء، ولم نتحسن كثيرًا في تحديد ما نريدهم أن يفعلوه. والمثير في هذا الإصدار أنه يجعل المشكلة الثانية مستحيلة التجاهل. فحين يصبح الهيكل متغيرًا يمكن البحث فيه، يتوقف سؤال ما الذي يجب أن يحسّن الهيكل من أجله عن كونه فلسفيًا ويصبح السؤال الوحيد المتبقي.
مقالات ذات صلة
الوكلاء ينتقلون إلى السحابة: المهمة تكمل بعد أن تغلق حاسوبك، بأدواتك الناقصة
المهمة تكمل في آلة سحابية بعد إغلاق الحاسوب، لكن ما تفقده هو أدواتك الداخلية، وما لم يُحل بعد هو من يوافق على الأفعال الخطرة.
إنفيديا تنشر أربعة نماذج عالم بـ16 مليار معامل، ثم إطار فك ترميز أسرع 25 مرة في الهندسة
أربعة مولّدات عالم بـ16 مليار معامل مع وصفات التدريب، وإطار فك ترميز يصدر الهندسة في طلقة واحدة. والتقييم ما زال ناقصاً.
المهارات تحتل ربع قائمة GitHub الرائجة، وكل مستودع يطلب طريقة تثبيت مختلفة
المهارة مجلد فيه تعليمات، لكن تثبيتها صار أربع طرق مختلفة، والفوضى تبدأ حين تتكرر المهارة نفسها في وكيل واحد.
نموذج بـ594 مليار معامل يتصدر النتائج، والأوزان التي تثبت ذلك ليست متاحة
نموذج قوي وأرقام جيدة ووصفة تدريب تستحق القراءة، لكن الأوزان التي تجعل الادعاء قابلاً للتحقق لم تُشحن بعد.