وكيل OpenAI الدائم العمل أحرق 300 ألف رمز دون أن يُطلب منه

ثلاث مئة ألف رمز، وصفر أسئلة

وجدت اختبارات مستقلة لمساعد «dot» الدائم العمل من OpenAI أنه أحرق أكثر من 300 ألف رمز في يوم واحد، وأنتج 155 أثرًا للنشاط، وأطلق عدة وكلاء فرعيين، كل ذلك دون أي طلب واحد من مستخدمه. كانت الصلاحيات الممنوحة له للقراءة فقط. لم يطلب منه أحد أن يفعل أي شيء.

أعد قراءة الجملة الأخيرة، لأنها القصة كلها. لم يُخدع الوكيل، ولم يكن يفعل شيئًا مُنع منه. كان فقط مُشغَّلًا، واتضح أن كونه مُشغَّلًا أمر مكلف.

الفاتورة التي لم تطلبها

كل منتج ذكاء اصطناعي آخر في السوق له حدّ واضح للتكلفة. تكتب شيئًا، فتُستهلك الرموز، وعندما تتوقف عن الكتابة يتوقف العدّاد. النموذج الذهني هو سيارة أجرة: تكلّفك المال أثناء الرحلة، ولا شيء عندما لا تكون في رحلة.

الوكيل البيئي (ambient) يكسر هذا النموذج. إنه أقرب إلى نظام التكييف في مبنى منه إلى سيارة أجرة. إنه يفعل شيئًا دائمًا، لأن البقاء في حالة جهوزية دائمة يتطلب نشاطًا مستمرًا. مراقبة مُحفِّز، والتحقق مما إذا تغيّرت الظروف، وتقرير ما إذا كان الموقف يستحق الاستيقاظ، والتخطيط لما سيفعله إن استيقظ. كل خطوة من هذه الخطوات هي نداء للنموذج، ولكل نداء للنموذج ثمن.

الاكتشاف المقلق هنا ليس أن وكيلًا أنفق مالًا. بل أن الإنفاق حدث بشكل خفي ومتواصل، مدفوعًا بحكم الوكيل نفسه بدلًا من تعليمات بشرية. لم تكن هناك جلسة لإنهائها، لأنه لم تكن هناك جلسة. كان هناك فقط عملية في الخلفية لها آراء حول ما يستحق أن يُفعل.

القراءة فقط ليست غير ضارة

المفاجأة الثانية هي نموذج الصلاحيات. «القراءة فقط» تبدو آمنة. تبدو كالإعداد الحذر الذي تختاره عندما تريد أن تكون متحفظًا.

لكن القراءة فقط لا تزال تعني «يمكنه ملاحظة كل شيء». الوكيل الذي يملك صلاحية قراءة يمكنه مسح البريد والوثائق والرسائل والتقويمات، وكل عملية مسح هي في حد ذاتها قرار يكلف رموزًا. والأسوأ أن الملاحظة وحدها تكفي ليكون خطيرًا بطريقة أخرى. القارئ الدائم العمل الذي يلخّص ما يراه هو، وظيفيًا، نظام مراقبة. ومسألة ما إذا كان قادرًا على التصرف منفصلة عن مسألة ما تعلّمه بالفعل.

هناك أيضًا مشكلة أدق. صلاحية القراءة تمنح الوكيل المادة الخام ليقرر أن التصرف مبرَّر، والحد الفاصل بين «لاحظت شيئًا» و«ينبغي أن أفعل شيئًا حياله» هو بالضبط الموضع الذي يصبح فيه النظام المستقل صعب الإشراف. مجموعة صلاحيات تمنع الكتابة لا تمنع الوكيل من بذل جهد كبير في تقرير ما الذي سيكتبه.

لماذا يزيد المزيد من الوكلاء الأمر سوءًا

تفصيل إطلاق عدة وكلاء فرعيين ينبغي أن يكون هو ما يرفع الحواجب في اجتماعات الهندسة. إنشاء مساعدين نمط شائع تحديدًا لأنه ينجح. قسّم مهمة، وسلّم أجزاءها إلى عمال متوازين، واجمع النتائج. هكذا تجعل وكيلًا يتعامل مع شيء أكبر من نافذة سياق واحدة.

وهكذا أيضًا تجعل التكلفة غير خطية. وكيل يقرر إطلاق ثلاثة وكلاء فرعيين، كل منهم يقرر التحقق من شيء آخر، لم ينفق أربعة أضعاف المال. بل أنفق ما تكلّفه الشجرة، وشكل الشجرة اختاره نموذج كان يحسّن للمهمة لا للميزانية.

الآن اضرب ذلك في كل مستخدم فعّل الميزة ثم نسيها. اقتصاد الوكلاء الدائمي العمل ليس كاقتصاد نداءات الـ API، حيث يتحكم العميل في الحجم. إنه أشبه باقتصاد أسطول عليك إدارته بنشاط، إلا أن الأسطول يقرر مساراته بنفسه.

حدّ الجلسة المفقود

ورث المساعدون النصيون، بالصدفة، خاصية أمان مفيدة: المحادثة تنتهي. وعندما تنتهي، يتوقف الوكيل، ويُحرَّر السياق، وتُسوَّى المحاسبة. حتى الوكيل السيئ السلوك محكوم بحقيقة أنه يعمل فقط ما دام أحدهم يتحدث إليه.

الوكلاء البيئيون لا يملكون هذا الحد. وعد المنتج هو أن المساعد موجود دائمًا، ما يعني أن العملية تعمل دائمًا، وأن السياق حي دائمًا، وأن فرص قرر النموذج أن يفعل شيئًا متواصلة فعليًا.

هذا ليس خللًا في التصميم. هذا هو التصميم. لكنه يعني أن مسألة الأمان تتحول من «ما يمكنه فعله في دور واحد» إلى «ما يتراكم عنده على مدى شهر». لا أحد في القطاع لديه إجابة جيدة عن السؤال الثاني، والأول هو الوحيد الذي بُنيت التقييمات القائمة لقياسه.

كيف ينبغي أن تكون الرقابة

إذا كان الوكيل سيعمل دون أن يُطلب منه، فإن الرقابة لا يمكن أن تكون تحكمًا على مستوى التوجيه. يجب أن تكون بنيوية، ويجب أن تكون مملة.

الميزانية الصارمة هي الجزء الأول، ويجب أن تكون سقفًا حقيقيًا لا إشعارًا. سقوف الإنفاق التي تنبّهك بعد وقوع الأمر ليست سقوفًا. الجزء الثاني هو سجل مقروء لما فعله الوكيل ولماذا قرر فعله، لأن «155 أثرًا للنشاط» رقم، والرقم ليس تفسيرًا. الجزء الثالث هو إعداد افتراضي غير دائم العمل. معظم مستخدمي معظم المنتجات لا يحتاجون إلى استدلال مستمر في الخلفية، ومن يحتاج إليه ينبغي أن يكون هو من اختاره.

الجزء الأعمق هو موافقة تصمد أمام ملامسة الواقع. إخبار المستخدم في صفحة إعدادات بأن الوكيل قد يتصرف في الخلفية ليس كأن يفهم المستخدم أنه سينفق مالًا وهو نائم. عادةً ما تحل المنتجات هذا التوتر بتوسيع النطاق ببطء وأمل ألا يلاحظ أحد. هذه العادة ستبدو مكلفة جدًا بمجرد أن تصبح للوكلاء محافظ.

الدرس الحقيقي يتعلق بالإعدادات الافتراضية

من السهل تجاهل نتائج dot كطرفة في منتج تجريبي واحد. لكن النمط الذي يقف خلفها ليس تجريبيًا على الإطلاق. كل مساعد رئيسي يتحرك نحو أن يكون متاحًا دائمًا، وكل بائع تحت ضغط لجعله يبدو سحريًا بدلًا من أن يكون محسوبًا.

السحر والقياس متضادان. فكلما بدا المنتج أكثر سهولة، زاد العمل الجاري بعيدًا عن الأنظار، وصعب على المستخدم تكوين صورة دقيقة عن تكلفته. وعندما يكون العدّاد مخفيًا، تبقى الفاتورة هي التغذية الراجعة الوحيدة، وبحلول الوقت الذي تراها فيه، يكون القرار قد اتُّخذ منذ عدة مئات من آلاف الرموز.

الموقف الحكيم، لأي شخص ينشر هذه الأنظمة الآن، هو التعامل مع «كم يمكنه أن ينفق دون سؤال» كمعامل تصميم من الدرجة الأولى، بجوار «ما مدى جودة عمله» تمامًا. الثاني هو ما تعلنه البائعون. والأول هو ما يقرر ما إذا كان المنتج ما زال يعمل في الربع القادم.