colibri: تشغيل نموذج بـ744 مليار معامل على معالج محمول دون بطاقة رسوميات

في ملف README الخاص بـcolibri سطر يُقرأ كخطأ مطبعي. نموذج بـ744 مليار معامل، بدقة int4، يُبثّ من المعالج، جاهز في 32 ثانية، ويقيم في 9.9GB من الذاكرة. على حاسوب محمول. بلا بطاقة رسوميات.
ليس خطأ مطبعي، لكنه ليس الجملة كاملة أيضًا. الـ9.9GB هو ما يبقى في الذاكرة. أما الـ429GB من الخبراء التي يراجعها النموذج فعليًا فتعيش على قرصك، وتُقرأ حين يطلبها النموذج. وهذا التمييز هو المشروع كله.
colibri مكتوب بلغة C، ملف واحد لكل عائلة نماذج، على يد مطوّر يُعرف باسم JustVugg. ووصل إلى قائمة الأكثر رواجًا على GitHub هذا الأسبوع بنحو 803 نجوم يوميًا. وتُشحن اليوم ثلاثة عشر محركًا: عشرة لنماذج لغوية، وواحد يرسم صورًا، واثنان يتخذان قرارات تصنيف. والعرض صريح على نحو غير معتاد بشأن المقايضة، ولهذا يستحق الأخذ بجدية.
ماذا يشتريه لك بثّ الخبراء فعلًا
نماذج خليط الخبراء تفعل هذه الحيلة داخليًا أصلًا. فالنموذج بـ744 مليار معامل لا يستخدم 744 مليارًا لتوكن واحد، بل يوجّه ذلك التوكن إلى حفنة من الخبراء، ربما 8 من 512، إضافة إلى خبير مشترك. والباقي يبقى خاملًا.
استدلال مراكز البيانات يبقيها كلها في ذاكرة البطاقة لأنها أسرع من أي بديل. أما colibri فيقلب الافتراض: إن كانت 95% من الأوزان خاملة عند أي توكن، فلماذا تُبقيها في أغلى ذاكرة تملكها. ضع الجزء المستخدم دائمًا في RAM، وضع الخبراء على القرص، واقرأ فقط ما يختاره الموجّه.
والثمن هو زمن الاستجابة، وcolibri لا يخفيه. في جدول الملف نفسه، يعمل GLM-5.2 بسرعة 0.05 إلى 0.1 توكن في الثانية على البارد على حاسوب محمول بذاكرة 25GB. وهذه ليست تجربة محادثة، بل جملة كل عشرين ثانية. وعلى Ryzen AI Max+ 395 بذاكرة 128GB يبلغ 1.83 توكن في الثانية. وعلى ست بطاقات RTX 5090، بين 9.0 و9.2. أما DeepSeek V4 Flash، نسخة 284B، فيبلغ 0.93 توكن في الثانية على Ryzen 7 5800X بذاكرة 32GB، و1.5 إلى 1.6 بمساعدة RTX 5080.
وهذه الأرقام هي الجزء الصادق في المشروع. فكثير من ادعاءات «يعمل على حاسوبك المحمول» تعني بهدوء «يعمل إن كان حاسوبك محطة عمل». وهذا ينشر الحالة البطيئة بجانب السريعة، والحالة البطيئة بطيئة فعلًا.

الإعداد ملف دفعي
ما يجعل colibri أكثر من مجرد غرابة هو أن أحدهم أدى العمل غير المبهر لتغليفه لمن لا يبنون البرامج من المصدر.
على Windows تنزّل ملف ZIP، وتنقر نقرًا مزدوجًا على START-HERE.bat، فيعرض تثبيت Python إن لم يكن لديك. وعلى Linux وmacOS الأمر git clone ثم ./start-here.sh. وبعدها يفعل السكربت خمسة أشياء بالترتيب: يقرأ ذاكرتك وقرصك ومعالجك وبطاقاتك؛ ويوصي بنموذج يتسع له الجزء المقيم فيه مع حد أدنى من ذاكرة الخبراء المؤقتة في RAM؛ ويبني المحرك لجهازك إن وُجد مترجم، وإلا نزّل ملفًا ثنائيًا جاهزًا؛ وينزّل النموذج مع إمكانية الاستئناف؛ ويشغّل خادمًا محليًا مع لوحة معلومات.
والحد الأدنى 8GB من الذاكرة و22GB من مساحة حرة على القرص لأصغر نموذج. وبطاقة الرسوميات اختيارية، والملف محدد في متى تساعد: على بطاقة منفصلة دائمًا، وعلى بطاقة مدمجة فقط للنماذج الثلاثة التي قاسها كأسرع هناك.
والخادم يتكلم لكنتين مهمتين. http://127.0.0.1:8000/v1 عنوان أساسي متوافق مع OpenAI، والمنفذ وحده متوافق مع Anthropic. فالاستخدام العملي ليس الكتابة في طرفية، بل توجيه أداة قائمة إلى localhost وتركها تظن أنها تخاطب مزوّدًا سحابيًا.
وهو يرسم صورًا أيضًا
المحرك الثالث عشر هو ما جذب انتباهي، لأنه يحوّل مشروع استدلال نصي إلى شيء ذي صلة بعمل الصور. يشحن colibri محركًا لـQwen-Image-2.1. النموذج نفسه بـ7B الذي أطلقته علي بابا في سبتمبر، صاحب الدقة الأصلية 2048×2048 وقناة ألفا الحقيقية.
والرقم المقاس في الملف: تنزيل بحجم 33GB، و12 إلى 18GB من الذاكرة، وVulkan لمسار البطاقة، وصورة واحدة 768×512 في دقيقتين وأربعين ثانية على ثمانية أنوية Zen 4، بالمعالج فقط. ويمكنك أيضًا استدعاؤه عبر HTTP عند POST /v1/images/generations، وسيرسم coli chat النتيجة داخل الطرفية بمحارف الكتل.
دقيقتان وأربعون لصورة 768×512 لن تحل محل فاتورة API لأحد. لكنها تعيد تأطير ماهية النموذج. فقد شُحن Qwen-Image-2.1 برخصة بحثية، أي أنك لحظة وضعه خلف منتج مدفوع تحتاج إلى محادثة ترخيص. ومحرك محلي يشغّله على المعالج هو بالضبط شكل الأداة في المرحلة السابقة لتلك المحادثة: أنت تقيّم، لا تبيع.
حيث يصبح القرص عنق الزجاجة
يقول الملف بوضوح: في النماذج الكبيرة يحدد القرص السرعة، وNVMe سريع يساعد أكثر من غيره. وهذا قيد معماري حقيقي لا حاشية. فإنتاجية القراءة التسلسلية على SSD من نوع SATA تعادل نحو عُشر قرص NVMe جيد، ونمط الوصول هنا ليس تسلسليًا تمامًا أيضًا.
أي أن الطريقة الصادقة للتفكير في colibri هي نظام تدرّج ذاكرة بواجهة سطر أوامر. أنت تقايض الإنتاجية بالسعة. نموذج بـ429GB لا يتسع في 32GB من RAM، لكنه يتسع على قرص بسعة 1TB. وهل تستحق المقايضة يعتمد كليًا على هل تحتاج قدرة النموذج أكثر من حاجتك لسرعته.
وهناك أثر من الدرجة الثانية يهم كل من يعمل بالوكلاء. فالوكلاء متقطعون: يجلسون خاملين دقائق، ثم يطلقون عشرين استدعاء أداة. ونموذج محلي يستغرق عشرين ثانية لكل استجابة غير صالح في تلك الحلقة. ونموذج يستغرق دقيقتين غير صالح أيضًا. فالحالة الاستخدامية الصادقة هي العمل بالجملة: لخّص هذا المجلد، وصنّف هذه الأربعمائة مستند، واكتب مسودات هذه الاثنتي عشرة صفحة منتج. تشغيلات تنهض عنها وتمشي.
الجزء الذي كنت سأختبره أولًا
ثلاثة أشياء تستحق التحقق قبل أن تلتزم بمساحة قرص.
البداية الباردة مقابل الدافئة. رقم 32 ثانية في الملف يخص GLM-5.2 مع ذاكرة صفحات دافئة، على الأرجح. والتشغيل الأول بعد الإقلاع سيكون أبطأ، وعلى قرص دوّار سيكون أبطأ بكثير. قِسه بنفسك.
هل نموذجك مدعوم فعلًا. ثلاثة عشر محركًا رقم كبير بمعايير C المكتوبة يدويًا، لكنه شريحة صغيرة من منظومة الأوزان المفتوحة. ويذكر الملف أن نقاط الحفظ التي تشترك في معمارية تعمل دون تعديل، وهو مخرج مفيد، وهو أيضًا تحذير: «المعمارية نفسها» تقوم بعمل هادئ في تلك الجملة.
رخصة ما تحمّله. colibri نفسه لا يغيّر شروط الأوزان التي يشغّلها. فـQwen-Image-2.1 بحثي فقط. وبعض النماذج اللغوية برخصة MIT، وبعضها لا. المحرك محايد، والنموذج ليس كذلك.
لماذا يهم هذا أبعد من مستودع واحد
على مدى عامين كانت قصة الذكاء الاصطناعي المحلي عن التكميم: اجعل النموذج صغيرًا بما يكفي ليتسع. بتان لكل وزن، و4GB من ذاكرة البطاقة، وهاتف. وهذا الخط حقيقي وأنتج أشياء مفيدة فعلًا.
لكن colibri يشير إلى محور مختلف. بدلًا من تصغير النموذج، عمّق تدرّج الذاكرة. RAM أرخص من ذاكرة البطاقة، والقرص أرخص من RAM. والفجوة بين «نموذج موجود» و«نموذج أستطيع تشغيله» لا يلزم سدّها بالضغط وحده، بل يمكن سدّها بقبول طبقة أبطأ.
هذه ليست فكرة جديدة. فهكذا تعمل قواعد البيانات منذ أربعين عامًا، وهكذا تعمل أنظمة التشغيل منذ أطول. الجديد أن أحدهم شحنها كملف دفعي لنموذج بـ744 مليار معامل، ونشر القياسات البطيئة بجانب السريعة، وضمّن نموذج صور في الصندوق.
لن يحل المستودع محل اشتراكك في API. لكنه قد يحل محل افتراض أن نموذجًا بـ700 مليار معامل شيء لا يُستأجر إلا. والصورة التي يرسمها على ثمانية أنوية معالج في دقيقتين وأربعين تذكير معقول بأن «المحلي» ليس ثنائيًا، بل ميزانية تحددها أنت.
مقالات ذات صلة
الوكلاء ينتقلون إلى السحابة: المهمة تكمل بعد أن تغلق حاسوبك، بأدواتك الناقصة
المهمة تكمل في آلة سحابية بعد إغلاق الحاسوب، لكن ما تفقده هو أدواتك الداخلية، وما لم يُحل بعد هو من يوافق على الأفعال الخطرة.
إنفيديا تنشر أربعة نماذج عالم بـ16 مليار معامل، ثم إطار فك ترميز أسرع 25 مرة في الهندسة
أربعة مولّدات عالم بـ16 مليار معامل مع وصفات التدريب، وإطار فك ترميز يصدر الهندسة في طلقة واحدة. والتقييم ما زال ناقصاً.
المهارات تحتل ربع قائمة GitHub الرائجة، وكل مستودع يطلب طريقة تثبيت مختلفة
المهارة مجلد فيه تعليمات، لكن تثبيتها صار أربع طرق مختلفة، والفوضى تبدأ حين تتكرر المهارة نفسها في وكيل واحد.
نموذج بـ594 مليار معامل يتصدر النتائج، والأوزان التي تثبت ذلك ليست متاحة
نموذج قوي وأرقام جيدة ووصفة تدريب تستحق القراءة، لكن الأوزان التي تجعل الادعاء قابلاً للتحقق لم تُشحن بعد.