← العودة إلى المدونة
Aiحوالي 1 دقيقة قراءة

أداة agent-desktop تقرأ شجرة إمكانية الوصول، لا لقطة الشاشة

نُشر في 14 نوفمبر 2026
أداة agent-desktop تقرأ شجرة إمكانية الوصول، لا لقطة الشاشة

كل وكيل يشغّل الحاسوب بلقطات الشاشة يدور في الحلقة المكلفة نفسها. يلتقط صورة للشاشة. يسأل نموذج رؤية أين يقع الزر. يحوّل الجواب إلى إحداثيات بكسل. ينقر. يلتقط صورة أخرى ليعرف هل حدث شيء.

إنه يعمل بالمعنى الذي يعمل به OCR: بشكل مبهر، وبثبات لا يكفي أبدا لتركه وشأنه. أنماط الفشل كلها تنويعات على فكرة واحدة، هي أن صورة الواجهة تمثيل ناقص للواجهة.

أداة agent-desktop، التي أطلقتها Vercel Labs وتقف عند نحو 23,300 نجمة، أضيف منها نحو 5,400 في الأسبوع الماضي، تسلك الطريق الآخر. لا تنظر إلى الشاشة. تقرأ شجرة إمكانية الوصول للتطبيق الهدف وتعيدها بصيغة JSON، مع مرجع لكل عنصر يستطيع الوكيل التصرف عليه. ينقر الوكيل أو يكتب على مرجع، ثم يقرأ الواجهة مرة أخرى للتحقق من النتيجة، ويكرر.

فوق لوحة مفاتيح ميكانيكية داكنة تطفو عدة مستطيلات زجاجية شبه شفافة، مرصوصة في طبقات متزحزحة قليلا.

الحلقة تعيش داخل الوكيل. الملف التنفيذي لا يحتوي أي نموذج.

التثبيت وأول اتصال

الحزمة تُثبَّت عالميا عبر npm:

npm install -g agent-desktop
agent-desktop status

يبلّغ `status` عن المنصة والأذونات والأسطح المدعومة، وهو الأمر الأول الصحيح لأن تشغيل الحاسوب يتعثر عند خطوة الأذونات أكثر بكثير مما يتعثر عند خطوة المنطق. على macOS يأتي بعده `agent-desktop permissions --guide`، وهو يرشدك خلال منح إذن إمكانية الوصول. ويعمل Homebrew أيضا على macOS وLinux. وBun وYarn وpnpm تثبّت الحزمة نفسها؛ والملفات التنفيذية الأصلية لمعماري x64 وARM64 مضمّنة.

حلقة الأوامر الثلاثة تبدو هكذا:

agent-desktop snapshot --app Finder -i
agent-desktop click @s8f3k2p9:e8
agent-desktop snapshot --app Finder -i

الخيار `-i` يحصر اللقطة في العناصر التفاعلية. والنقر يستخدم مرجعا من تلك اللقطة بعينها. اللقطة الثانية ليست صيانة اختيارية، بها تعرف هل فعل النقر ما تظنه.

قرارات التصميم التي تهم

في هذه الأداة أربعة خيارات تستحق الفهم قبل أن تبني عليها شيئا.

المراجع تنتمي إلى لقطتها. المرجع المجرد `@e8` يُرفض بـ `INVALID_ARGS`. وإذا تغيّرت الواجهة بين الملاحظة والفعل، يعيد الفعل `STALE_REF` أو `AMBIGUOUS_TARGET`، والرد الصحيح هو أخذ لقطة جديدة واستخدام مراجعها. هذا أشد صرامة من معظم أدوات الأتمتة، وهو يزيل صنفا كاملا من النقرات الخاطئة الصامتة.

التطبيقات الكثيفة لها مسار فحص من مرحلتين. في تطبيق مثل Slack، الطريقة الموثقة هي `snapshot --skeleton --app Slack -i --compact` لرسم خريطة التطبيق، ثم `snapshot --root @s8f3k2p9:e3 -i --compact` للنزول إلى منطقة واحدة. بدون ذلك تصبح شجرة كاملة لتطبيق معقد كمية كبيرة من JSON على الوكيل أن يحملها.

الوضع الافتراضي بلا واجهة. الأفعال المعتمدة على المراجع تمر عبر واجهة إمكانية الوصول دون تحريك المؤشر أو سرقة التركيز، فتبقى الآلة قابلة للاستخدام بينما يعمل الوكيل. والخيار العام `--headed` ينقل إلى الإدخال الفيزيائي، وهو ما تريده عندما يتحقق التطبيق من أحداث حقيقية، ولا تريده في غير ذلك.

يمكن إبقاء الأسرار خارج وسائط العملية. تقبل `type` و`set-value` و`clipboard-set` الخيار `--stdin` لنص يأتي من أنبوب. ولأن وسائط سطر الأوامر مرئية في قائمة العمليات، فهذا هو الفرق بين كلمة مرور تظهر في مخرجات `ps` وكلمة مرور لا تظهر. ونصيحة README هي تنفيذ الخطوات التي تحوي أسرارا كأوامر منفصلة، لأن نص JSON المرسل دفعة واحدة يظهر من جديد في قائمة الوسائط.

وهناك حاشية عن PowerShell ستوفر على أحدهم ساعة: ضع كل مرجع بين علامتي تنصيص، لأن `@token` المجرد هو معامل النشر.

ما هي طبقة المنصة فعلا

تحت CLI توجد مكتبة بلغة C، وتحت الاثنين يوجد النواة نفسها. كل ملف تنفيذي يُبنى لنظام تشغيل واحد ويتحدث إلى واجهة إمكانية الوصول في ذلك النظام: AX API على macOS، وUI Automation على Windows، وAT-SPI على Linux. والنواة لا تصل إلى النظام إلا عبر سمة `PlatformAdapter`، ولهذا تستطيع قاعدة شيفرة واحدة أن تقدّم مغلف JSON واحدا فوق ثلاثة نماذج إمكانية وصول مختلفة جدا.

هذه البنية تفسر أيضا سقف الأداة. لا تستطيع التصرف إلا على ما تكشفه شجرة إمكانية الوصول. التطبيقات التي ترسم واجهتها بنفسها على لوحة ولا تكشف شيئا تبقى غير مرئية أو شبه غير مرئية، مهما كان المهايئ بارعا. الوكلاء المعتمدون على اللقطات يعالجون تلك الحالات، والمعتمدون على المراجع لا يستطيعون. والمقايضة هي الدقة في التطبيقات الجيدة مقابل التغطية في التطبيقات السيئة البناء.

مقارنة عملية

فكّر في مهمة صغيرة يعالجها وكلاء اللقطات بشكل سيئ: إعادة تسمية اثني عشر ملفا في مدير ملفات على سطح المكتب.

وكيل اللقطات ينظر إلى النافذة، ويتعرف على اثني عشر عنوانا لأسماء الملفات، وينتج اثني عشر زوجا من الإحداثيات. ينقر الأول، ويحدد النص، ويكتب اسما جديدا، ويضغط الإدخال، وينتظر إعادة ترتيب القائمة. كل إحداثي لاحق أصبح قديما الآن، لأن ترتيب القائمة تغيّر. على الوكيل أن يعيد الملاحظة بعد كل إعادة تسمية، أي اثنتا عشرة دعوة رؤية واثنتا عشرة فرصة للنقر على الصف الخطأ.

الطريقة المعتمدة على المراجع تلاحظ مرة واحدة. تعيد اللقطة شجرة النافذة مع مرجع لكل صف، ومعها معرّف لقطة. كل إعادة تسمية فعل على مرجع محدد، وبعد كل فعل يعيد الوكيل قراءة الشجرة ليتأكد من ظهور الاسم الجديد. وإذا أعيد ترتيب القائمة، تصبح مراجع اللقطة الأصلية قديمة وتقول الأداة ذلك، وهو بالضبط السلوك الذي تريده: فشل سريع وصريح بدل فعل صامت على الملف الخطأ.

الفرق في الموثوقية يأتي من مكان حساب البنية. في الحالة الأولى يعيد نموذج بناء قائمة ملفات من البكسلات ويخطئ بعض الوقت. وفي الثانية يبلّغ نظام التشغيل عن قائمة الملفات التي يحتفظ بها أصلا، ولا يخطئ تقريبا أبدا.

تنبيه الأمن ليس كلاما جاهزا

يحمل README تحذيرا يستحق الاقتباس بدل إعادة صياغته: اللقطات وقراءات الحافظة ولقطات الشاشة ومخرجات الأوامر ومخلفات التنقيح قد تحتوي محتوى خاصا من سطح المكتب، وينبغي إبعادها عن السجلات العامة وعمليات الرفع.

هذا خطر حقيقي وجديد. الوكيل المعتمد على اللقطات يسرّب بكسلات. والوكيل المعتمد على الشجرة يسرّب نصا منظما، وهو أسهل بكثير في الفهرسة والبحث والالتزام إلى المستودع عن غير قصد. وإذا كنت تسجل مسارات الوكيل لأغراض التنقيح، فأنت تسجل ما كان على الشاشة في تلك اللحظة، بصيغة يجدها grep.

الجزء الذي سيقدم مع الزمن

أطلقت Vercel Labs اثنتين من هذه حتى الآن: agent-browser للويب، وagent-desktop للتطبيقات المحلية، كلتاهما بلغة Rust، وكلتاهما رائجة في الأسبوع نفسه. النمط المشترك بينهما هو الرفض: ألا تجعل النموذج يقوم بعمل قام به نظام التشغيل بالفعل.

الفكرة المفيدة هنا تقع في تلك النقطة، أكثر من أي أمر بعينه. نموذج الرؤية الذي يقرأ لقطة شاشة يستنتج بنية موجودة أصلا في شجرة إمكانية الوصول، ويدفع ثمن هذا الاستنتاج في زمن الاستجابة والرموز ومعدل الخطأ. أما قراءة الشجرة فلا تكلف شيئا تقريبا وتعيد شيئا يستطيع الوكيل التحقق منه.

الوكلاء الذين سيبقون في الإنتاج لن يكونوا أصحاب أفضل بصر. سيكونون أولئك الذين لم يعودوا بحاجة إلى النظر.

مقالات ذات صلة

خادم واحد ومذيعة ذكاء اصطناعي واحدة: داخل الكود الذي يُشغّل بثًا ليليًا

open-yoki هو الكود الإنتاجي لمذيعة ذكاء اصطناعي تبث كل ليلة على Binance Square، بعد نزع الشخصية والصوت وكل ما يمس المال. متصفح Chrome يرسم الإطار، وffmpeg يدفع RTMP، ومجلد Markdown يحدد مزاجها وما تنشره.

Pinky يدع الـ agent يقود هاتفك، ويُبقي زر الإرسال مضغوطًا حتى تنقر على «السماح»

يوصّل Pinky أي agent يعمل بـ MCP بهاتف iPhone أو Android حقيقي، ويفرض الموافقة في بوابته هو لا في prompt. تطبيقات البنوك غير مرئية، وحقول كلمة المرور ممنوعة، وعلى Android 13 يحصل الـ agent على شاشة ثانية مخفية.

SeedRealtime من ByteDance يلتقط إطارين في الثانية ويقرر بنفسه متى يتكلم

يجمع Doubao-Seed-Realtime-1.0 إطارات الكاميرا وإطارات الشاشة والصوت في جلسة واحدة ثنائية الاتجاه، بإطارين في الثانية كحد أقصى. القرارات المثيرة هي معدل الإطارات، والكلام التلقائي، وردّ التدقيق الذي يأتي مفعّلاً من المصنع.

أحدهم وضع قوانين العالم في git، فصار بالإمكان عمل blame لمادة قانونية

يحفظ global-law نصوص القوانين في كل بلد داخل مستودع git يمثّل فيه كل commit قانونًا يدخل حيّز التنفيذ في تاريخ معروف. يمكنك تشغيل log وblame وshow وdiff على مادة ما، والسؤال عمّا كان ساريًا في كل بلد في يوم معيّن، وتسليم المدوّنة كاملة إلى مساعد عبر MCP.