المهارة شيفرة، والشيفرة تحتاج إلى نقطة تفتيش

المهارة شيفرة، والشيفرة تحتاج إلى نقطة تفتيش
أطلقت NVIDIA هذا الأسبوع أداة مفتوحة المصدر تُدعى SkillSpector. مهمتها ضيقة ومتأخرة: فحص مهارات وكلاء الذكاء الاصطناعي بحثًا عن مشكلات أمنية قبل أن يحمّلها الوكيل. يأتي المشروع مزوّدًا بكشف 64 نمطًا من أنماط الثغرات، وهو رقم يستحق التوقف عنده، لأنه يعني أن أحدهم جلس وعدّد الطرق التي قد تسوء بها المهارة.
وإلى جانب ذلك، نشرت Cloudflare مهارة تدقيق أمني تنفّذ تدقيقات متعددة المراحل على قاعدة شيفرة وتُصدر نتائج قابلة للقراءة آليًا، بينما فصّل GitHub مصنّفًا للكشف عن الأسرار يراعي السياق، رفع معدل القبول المرجّح للنتائج الحقيقية بنسبة 11.5 بالمئة وقلّل متوسط زمن الفحص بنسبة 86 بالمئة. ثلاثة فرق مختلفة، ثلاث زوايا مختلفة، والاستنتاج واحد: الطبقة التي يتلقى فيها الوكلاء تعليماتهم أصبحت بنية تحتية، والبنية التحتية تخضع للتدقيق.
ما هي المهارة في حقيقتها
كلمة "مهارة" تجعل الأمر كله يبدو ألطف مما هو عليه. المهارة ليست إعدادًا. إنها حزمة من التعليمات، وفي كثير من الأحيان نصوص برمجية وقوالب وتعريفات أدوات سيقرؤها الوكيل ويتبعها بالصلاحيات الممنوحة له.
هذه العبارة الأخيرة هي نموذج الأمان في جملة واحدة. المهارة لا تحتاج إلى استغلال ثغرة، لأنها لا تقتحم. بل يُدعى إليها، وتُسلَّم المفاتيح، ويُطلب منها المساعدة. إذا كانت تعليماتها ضارة أو حتى مهملة، سيتصرف الوكيل وفقها كما لو كانت نيتك أنت، لأنه بحسب ما يستطيع تمييزه، هي كذلك بالفعل.
هذه هي المشكلة نفسها التي واجهتها مديرو الحزم قبل عقود، وقد حُلّت بالطريقة نفسها: بافتراض أن سلسلة التوريد عدائية وبناء نقاط تفتيش فيها. ونظام بيئة الوكلاء لا يزال في بداية تلك العملية، ولهذا فإن مشروعًا مثل SkillSpector يهم أكثر بكثير مما يوحي به عدد نجومه.

لماذا 64 نمطًا هو الرقم الأهم
قائمة من 64 نمطًا من أنماط الثغرات هي تصنيف، والتصنيفات هي الطريقة التي ينضج بها أي مجال. قبل وجودها، تكون كل حادثة مفاجأة. وبعد وجودها، تصبح الحوادث حالات من فئات معروفة، ما يعني أنه يمكن اختبارها وتتبّعها وفي النهاية إزالتها بالتصميم.
بعض تلك الفئات مألوف في البرمجيات العادية: أوامر shell غير آمنة، ومدخلات غير مُتحقَّق منها، وبيانات اعتماد تُكتب في ملفات لا ينبغي أن تحتويها أبدًا. وفئات أخرى خاصة بهذه الطبقة الجديدة. تعليمات توسّع نطاق الوكيل دون أن تقول ذلك. ومطالبات تجلب محتوى غير موثوق وتتعامل معه كأمر. وأوصاف أدوات تُحرّف ما تفعله الأداة، فيستدعيها الوكيل للسبب الخاطئ. ومهارات تربط مهارات أخرى في مسار لم يقصده أحد.
في هذه الفئة الأخيرة تكمن الصعوبة. المهارة خطيرة بقدر ما تستطيع الوصول إليه تمامًا، والوكلاء الحديثون يستطيعون الوصول إلى الكثير: نظام الملفات، والشبكة، ووكلاء آخرين، والأدوات التي سجّلتها مهارة أخرى. ونطاق التأثير لمهارة سيئة ليس المهارة نفسها. بل كل ما يستطيع الوكيل لمسه، وهو هدف متحرك يعتمد على أي مهارات أخرى حُمّلت أولًا.
مشكلة السياق المسموم
الجزء المقلق في أمن الوكلاء هو أن الحد الفاصل بين البيانات والتعليمات لا يفرضه أي شيء. النموذج يقرأ نصًا. وهو لا يعرف بطبيعته أي الجمل حقائق يجب مراعاتها وأيّها أوامر يجب طاعتها.
لذا فإن مهارة تجلب صفحة ويب، أو تقرأ متعقّب المشكلات، أو تلخّص بريدًا إلكترونيًا، تعرّض الوكيل لنص قد يحتوي على تعليمات. وإذا اتبعها النموذج، فلا توجد ثغرة استغلال بالمعنى التقليدي. هناك فقط نظام فعل ما أُمِر به من شيء ما كان ينبغي ألا يثق به.
لهذا يجب أن يجري الفحص وقت التحميل لا وقت الحادثة. فبمجرد أن تعمل مهارة داخل وكيل ذي صلاحيات واسعة، يكون السؤال المهم قد أُجيب عنه إجابة سيئة بالفعل. ويجب أن تأتي نقطة التفتيش أولًا، وأن تكون تلقائية، لأن المراجعة البشرية لكل مهارة في سجل لا تتوسّع ولن تتوسّع أبدًا.
التدقيق يتحول إلى منتج
يشير إصدار Cloudflare إلى اتجاه ثانٍ. فمهارة التدقيق الخاصة بها تُنتج نتائج قابلة للقراءة آليًا بدلًا من قائمة على أحدهم أن يقرأها. هذه الصياغة تؤدي عملًا حقيقيًا. فالنتائج التي على إنسان أن يقرأها هي نتائج سيتصفحها الإنسان بعين سريعة. أما النتائج التي تستطيع خطوط المعالجة استهلاكها فيمكن تحويلها إلى تذاكر، أو عمليات دمج محظورة، أو عمليات نشر مرفوضة، دون أن يحتاج أحد لتذكّر النظر.
وينسجم عمل GitHub في الكشف عن الأسرار مع النمط نفسه. فتسريب الأسرار يتناسب مع حجم الشيفرة المنتجة، وإنتاج الشيفرة ارتفع بحدّة. ولم يكن الرد "وظّفوا مزيدًا من المراجعين". بل مُصنّف يراعي السياق يقلّل الضجيج، بحيث تكون التنبيهات التي يراها الناس فعلًا أكثر ترجيحًا لأن تكون حقيقية. والدقة، في أدوات الأمان، هي ما يحدّد هل ما زال أحدهم يقرأ التنبيهات بعد الشهر الثالث.
وكلاهما الحركة نفسها على طبقات مختلفة. فبدل مطالبة البشر بمزيد من التيقظ، تُجعل الفحوص التلقائية جيدة بما يكفي بحيث لا تُصرف انتباهات البشر إلا حيث يمكن أن تُهم. تلك هي الاستراتيجية الوحيدة التي تصمد أمام الحجم.
مسألة الحوكمة الكامنة تحتها
هناك طبقة سياسات هنا تتحرك أسرع مما تدركه معظم الفرق. أنظمة التحكم في الإصدارات بدأت تحمل بيانات وصفية عن المصدر. ومستودعات الحزم تضيف التصديق. وهيئات المعايير تعمل على كيفية وسم المحتوى الاصطناعي وكيفية التعرف على وكيل. ووجهة المسير نحو عالم يجب فيه أن يكون أصل أي عنصر وسلامته قابلين للإثبات، لا مفترضين.
وتقع المهارات في ذلك العالم موقعًا غير مريح، لأن المهارة نفسها قد تكون مفيدة وخطيرة بحسب السياق. فمهارة تستطيع تعديل الملفات ضرورية لوكيل برمجة وكارثية لوكيل يقرأ أيضًا بريدًا إلكترونيًا غير موثوق. وقرار الثقة ليس صفةً للمهارة وحدها. بل هو صفة للمهارة مضافًا إليها البيئة مضافًا إليها المهارات الأخرى التي تستطيع الوصول إليها.
ما يرجّح أن الفرّازات ستحتاج في النهاية إلى أكثر من مطابقة الأنماط. فالنسخة الصعبة فعلًا من هذه الأداة تتحقق مما إذا كانت تشكيلة مقترحة من المهارات تمنح قدرة لم يطلبها أحد، وتنبّه قبل الإطلاق لا بعده.
ما ينبغي أن تفعله الفرق الآن، دون مبالغة في رد الفعل
الذعر ليس الرد الصحيح، ولا التعامل مع الأمر كأنه مشكلة شخص آخر.
الخطوات العملية غير مبهرة. تعامل مع مهارات الطرف الثالث كاعتماديات غير موثوقة، لأنها كذلك تمامًا. ثبّت الإصدارات وراجع الفروق عند تغيّرها. شغّل الوكلاء في بيئات يكون فيها نطاق التأثير محدودًا، بحيث لا تستطيع مهارة سيئة الوصول إلى الشبكة أو قاعدة بيانات الإنتاج لمجرد أن الوكيل كان مريحًا. وسجّل أي المهارات حُمّلت وما فعلته، لأن أول سؤال صعب بعد أي حادثة هو ما الذي كان مسموحًا له بالعمل.
لقد سارت الصناعة على هذا الدرب من قبل. كانت البيئات النظامية للحزم غير آمنة، ثم صارت مرهقة في مهاجمتها، والإرهاق هو المقصود. ومهارات الوكلاء تتجه نحو التوازن نفسه، والمشاريع التي صدرت هذا الأسبوع هي أول محاولة جادة لبناء نقطة التفتيش. فالوصول إليها قبل الحادثة أرخص من الوصول إليها بعدها، والشيء الوحيد المطلوب للوصول مبكرًا هو الاستعداد لأن تكون مملًّا في هذا الشأن.
مقالات ذات صلة
الأكاديمية ترسم خطاً، والمسألة ليست عن الأدوات
تستبعد الأكاديمية الأداءات المولّدة بالذكاء الاصطناعي والسيناريوهات المكتوبة به من الأوسكار، مع السماح باستخدامه في المؤثرات والترميم. والنقابات والمحاكم والمهرجانات ترسم خطوطها الخاصة بالتوازي.
أشهر حيلة جديدة على GitHub هي أن تتكلم أقل
أسرع مستودع نموًا على GitHub هو مشروع بلغة Go يُدعى caveman يقلل استخدام الـ tokens بنحو 65 في المئة بالحديث كرجل كهف. و Headroom و Xerj يهاجمان المشكلة نفسها من زوايا أخرى.
حدسية عمرها ثلاثون عامًا، ونموذج صيني، وبرهان يتحقق منه الحاسوب
أعلن Shanghai AI Laboratory إثباتًا للحالة ثلاثية الأبعاد من حدسية Ghys، طُوّر باستخدام Intern-S2 وجرى التحقق الشكلي منه في Lean.
بديل Git من Anthropic: عندما يتجاوز حجم الكود المراجعة البشرية
استبدلت Anthropic نظام Git ليس بسبب خلل أو اختراق، بل لأن حجم التغييرات تجاوز ما صُمّم التحكم في الإصدارات بإيقاع بشري لاستيعابه. وأول ما ينهار هو المراجعة والهوية والفرع نفسه.