agent-desktop من Vercel: تشغيل تطبيقات سطح المكتب عبر شجرة الوصول بدل لقطات الشاشة

على مدى نحو عامين، ظل العرض التوضيحي القياسي لـ«الذكاء الاصطناعي الذي يستخدم حاسوبًا» على الشكل نفسه: لقطة شاشة، ونموذج يخمّن أين يقع الزر، ونقرة اصطناعية عند الإحداثي (847, 412)، ثم لقطة أخرى على أمل أن يرى ما إذا حدث شيء.
وهو ينجح بما يكفي لتصوير فيديو، ويفشل بما يكفي ليكون المنتج غير قابل للاستخدام. أطلقت Vercel Labs هذا الأسبوع أداة سطر أوامر تتجاوز التخمين تمامًا، والسطر الأول في ملف README هو الأطروحة كلها: اقرأ تطبيقات سطح المكتب وشغّلها عبر شجرة إمكانية الوصول في نظام التشغيل.
المستودع هو vercel-labs/agent-desktop، برخصة Apache-2.0، وجمع نحو 3,800 نجمة في يوم واحد.
المعرّف هو الفكرة
كل نظام تشغيل منذ نحو 2005 يحتفظ بوصف مُهيكل لما هو معروض على الشاشة. وهو ما يقرأه قارئ الشاشة. يعرف أن هناك زرًا، وأن اسمه «تصدير»، وأنه مفعّل، وأنه داخل نافذة حوار، وأن نافذة الحوار تنتمي إلى نافذة محددة.
تأخذ agent-desktop لقطة من تلك الشجرة وتعيد JSON. وكل عنصر يستطيع الوكيل التصرف بشأنه يحصل على ref. ثم يتصرف الوكيل على المعرّف، ويأخذ لقطة أخرى ليتحقق مما تغيّر.
هذا كل شيء. لا إحداثيات، ولا نموذج رؤية في الحلقة، ولا مطابقة بكسل. الحلقة تبقى في وكيلك.
والنتيجة أن نمط الفشل يتغيّر في شكله. الأتمتة القائمة على البكسل تفشل بالنقر على الشيء الخطأ، بصمت، وتكتشف ذلك بعد ثلاث خطوات حين يُصدَّر الملف الخطأ. أما الأتمتة القائمة على المعرّف فتفشل بعدم إيجاد المعرّف، وهذا صوت عالٍ وفوري وقابل للتنقيح. واحد من هذين يمكن بناء منتج عليه.

ما يمنحك إياه نموذج العملية
يحرص ملف README على نقطة تتجاوزها معظم الأدوات في هذا المجال: كل استدعاء لسطر الأوامر يعمل في عمليته الخاصة.
يبدو ذلك تفصيلًا تنفيذيًا. لكنه في الحقيقة خاصية أمان. فالخادم الدائم لأتمتة سطح المكتب يراكم الحالة، ويحتفظ بالمقابض، ويصبح شيئًا قادرًا على تعليق جلستك. أما عملية لمرة واحدة تأخذ لقطة، وتتصرّف، وتنتهي، وتعيد JSON، فمن السهل جدًا قتلها وتدقيقها. وإن تعلّق استدعاء، تقتل عملية لا جهازًا.
والخاصية الثانية مذكورة بصراحة أكبر: الاستدعاءات الصامتة ما زالت تمنع التنشيط في المقدمة والإدخال المُصنَّع. فالأداة ليست روبوتًا يخطف فأرة جهازك. إنها تقرأ الشجرة، ويمكنها التصرف على العناصر، لكنها لن تجرّ نافذة إلى أمامك في الثانية فجرًا.
وهذان القراران معًا يصفان أداة مصممة للعمل في الخلفية، من النوع غير المبهر حيث يتحقق الوكيل من لوحة معلومات، ويقرأ جدولًا، ويصدّر تقريرًا، ولا يحتاج إلى من يراقبه.
التثبيت سطر واحد، وهذا هو المقصود
npm install -g agent-desktop
agent-desktop version
تشحن الحزمة ملفات ثنائية أصلية ومساعدات منصة لمعماريتي x64 وARM64 على macOS وWindows وLinux. وBun وYarn وpnpm تثبّت الشيء نفسه. وإن لم ترغب في مشغّل JavaScript على المسار، فهناك أرشيفات أصلية على صفحة الإصدارات يمكنك وضعها حيث تشاء.
وهناك أيضًا مكتبة بلغة C، وهي التفصيل الأكثر إثارة للاهتمام لمن يريد بناء هذا داخل شيء أكبر. فالأداة غلاف حول مكتبة تقرأ واجهات إمكانية الوصول في ثلاثة أنظمة تشغيل. وهذا هو الجزء الصعب من المشكلة، وهو الجزء الذي كرّرته كل فرقة احتاجته، وبشكل سيئ.
قسم الخصوصية صريح على نحو غير معتاد
معظم ملفات README تدفن هذا البند. هذا الملف يضعه في الفقرة الثالثة:
«اللقطات، وقراءة الحافظة، ولقطات الشاشة، وخرج الأوامر، وملفات التنقيح، قد تحتوي على محتوى خاص من سطح المكتب. أبعدها عن السجلات العامة وعمليات الرفع.»
هذا ليس إخلاء مسؤولية، بل وصف لسطح الهجوم. فلقطة إمكانية الوصول لسطح مكتبك جرد مهيكل لكل ما عليه: عناوين النوافذ، وأسماء المستندات، وموضوعات البريد، وأسماء المشاركين في المحادثات، وتسميات حقول النماذج. وإن كنت تمرّر ذلك إلى نموذج مستضاف، فأنت ترفع مخططًا ليوم عملك.
ويشير الملف أيضًا إلى مساعد اختياري يرسل أوصاف الشاشة إلى مزوّد نموذج مُهيأ، ويفصله صراحة عن أداة سطر الأوامر الأصلية. وهذا الفصل تصميم سليم، ويستحق قراءة الكود قبل تفعيله.
وهناك مشكلة من الدرجة الثانية لا يملك أحد جوابًا جيدًا لها بعد. قرّاء الشاشة يملكون هذا الوصول منذ زمن، وقبلناه لأن البديل كان أسوأ لفئة محددة من الناس. والوكلاء يملكون هذا الوصول لأنه يجعل الأتمتة موثوقة. القدرة نفسها، ونموذج تهديد مختلف تمامًا. وإن كنت تنشره داخل شركة، فسؤال أي العمليات يُسمح لها باستعلام شجرة إمكانية الوصول سؤال سياسة حقيقي، وليس سؤالًا تستطيع الأداة الإجابة عنه بدلًا عنك.
أين يقع هذا مقابل البدائل
هناك ثلاث طرق لجعل وكيل يشغّل البرمجيات، وهي تتجه إلى أماكن مختلفة.
استخدام الحاسوب على مستوى البكسل — لقطة شاشة، وإحداثي، ونقرة. يعمل على أي شيء، بما في ذلك التطبيقات بلا دعم لإمكانية الوصول، وأسطح المكتب البعيدة، والواجهات المرسومة على لوحة رسم. لكنه هش وبطيء ويحتاج نموذج رؤية في كل خطوة.
أغلفة سطر الأوامر وواجهات البرمجة — منح كل تطبيق سطر أوامر. سريعة وحتمية، لكنها تتطلب من يبني الغلاف، ومعظم برمجيات سطح المكتب لن تحصل على واحد أبدًا.
شجرة إمكانية الوصول — الطريق الوسط. مهيكلة ودلالية وبلا نموذج رؤية، وتعمل على أي تطبيق يحترم أعراف المنصة. وتفشل مع التطبيقات التي ترسم واجهتها بنفسها.
والمثير في الطريق الوسط أنه الوحيد الذي يكون فيه فهم الوكيل للشاشة مطابقًا لفهم إنسان يستخدم قارئ شاشة. وهذا قيد حقيقي ومفيد: يعني أن الواجهة التي يراها الوكيل هي الواجهة التي يجب أن توجد أصلًا للامتثال لمتطلبات إمكانية الوصول. أنت لا تبني عالمًا موازيًا.
ما كنت سأختبره
تجربتان، كلتاهما رخيصة.
أولًا، خذ لقطة لتطبيقاتك الخمسة الأكثر استخدامًا وانظر إلى JSON. جودة الشجرة تخبرك فورًا هل يصلح هذا الأسلوب لحجم عملك. تطبيقات Electron عادة جيدة. وتطبيقات Java Swing من 2011 عادة سيئة. واللوحات المرسومة يدويًا حالة ميئوس منها، ولا حل لها.
ثانيًا، قس حجم اللقطة. إن كانت لقطة واحدة لنافذة مزدحمة تساوي 400KB من JSON، فلديك مشكلة في ميزانية السياق، وستقضي وقتك في كتابة المرشّحات لا الأتمتة. الأداة تعطيك الشجرة، أما تحديد ما تعرضه للنموذج فما زال عملك.
النقطة الأكبر أن «استخدام الحاسوب» يستقر الآن كتخصص هندسي لا كفئة عروض توضيحية. والتطبيقات الفائزة لن تكون تلك التي تملك أفضل نموذج رؤية، بل تلك التي تستخدم أقل قدر من الرؤية، لأن الرؤية أغلى وأقل الطرق موثوقية لمعرفة أن زرًا ما مكتوب عليه «تصدير».
مقالات ذات صلة
الوكلاء ينتقلون إلى السحابة: المهمة تكمل بعد أن تغلق حاسوبك، بأدواتك الناقصة
المهمة تكمل في آلة سحابية بعد إغلاق الحاسوب، لكن ما تفقده هو أدواتك الداخلية، وما لم يُحل بعد هو من يوافق على الأفعال الخطرة.
إنفيديا تنشر أربعة نماذج عالم بـ16 مليار معامل، ثم إطار فك ترميز أسرع 25 مرة في الهندسة
أربعة مولّدات عالم بـ16 مليار معامل مع وصفات التدريب، وإطار فك ترميز يصدر الهندسة في طلقة واحدة. والتقييم ما زال ناقصاً.
المهارات تحتل ربع قائمة GitHub الرائجة، وكل مستودع يطلب طريقة تثبيت مختلفة
المهارة مجلد فيه تعليمات، لكن تثبيتها صار أربع طرق مختلفة، والفوضى تبدأ حين تتكرر المهارة نفسها في وكيل واحد.
نموذج بـ594 مليار معامل يتصدر النتائج، والأوزان التي تثبت ذلك ليست متاحة
نموذج قوي وأرقام جيدة ووصفة تدريب تستحق القراءة، لكن الأوزان التي تجعل الادعاء قابلاً للتحقق لم تُشحن بعد.