2.8 تريليون معامل على بطاقة رسومات بسعة 4 غيغابايت: كيف اخترقت AirLLM حائط الذاكرة

الجدار الذي يصطدم به الجميع

هناك لحظة محددة يمر بها كل مطوّر يرغب في تشغيل نموذج كبير محليًا. إنها ليست مشكلة مهارة ولا مشكلة تكلفة. إنها رقم في ورقة المواصفات: ذاكرة الرسوميات. النموذج المفتوح الجاد لا يتسع في بطاقة الرسوميات التي يملكها معظم الناس، والحل المعتاد، أي شراء بطاقة أكبر، بلغ سعرًا صار مبالغًا فيه إلى حد العبث.

لذلك امتلأ المجال بالحلول الالتفافية. تكميم الأوزان حتى أربع بتات. إنزال جزء من النموذج إلى ذاكرة النظام. استئجار عتاد شخص آخر. كلها تعمل، وكلها تكلّف شيئًا، وكلها تغيّر النموذج بطريقة عليك أن تتعايش معها. ثم هناك AirLLM، مستودع يقبع هذا الشهر قريبًا من قمة قائمة الرائج على GitHub، ويقدّم ملف README الخاص به ادعاءً يبدو كخطأ مطبعي: 2.8 تريليون معامل، وبطاقة رسوميات واحدة بسعة 4 غيغابايت.

ما هي الحيلة في حقيقتها

الفكرة وراء AirLLM ليست تصغير النموذج. بل التوقف عن محاولة إبقائه كاملًا في الذاكرة دفعة واحدة. فبدلًا من تحميل كل طبقة من الشبكة في بطاقة الرسوميات قبل توليد الرمز، يجعل هذا الأسلوب النموذج يتدفق طبقة تلو الأخرى، جالبًا كل كتلة من القرص قبل الحاجة إليها مباشرة، ومستخدمًا إياها ثم تاركًا لها.

في أي لحظة، لا يلزم أن يقيم في الذاكرة السريعة سوى شريحة رقيقة من النموذج. أما الباقي فيمكن أن يظل على قرص. تتحول بطاقة الرسوميات من مستودع إلى طاولة عمل، ويتوقف حجم النموذج عن فرض سقف صارم على الآلة القادرة على تشغيله.

وهذا هو السبب نفسه الذي يمكّن المرء من قراءة كتاب من ألف صفحة على مكتب صغير جدًا. لا تحتاج إلى الكتاب كله أمامك. تحتاج إلى الصفحة التي أنت عليها، وإلى وسيلة لجلب التي تليها.

المقايضة الصادقة

لو كان تدفق الطبقات عبر بطاقة رسوميات صغيرة مجانيًا، لكان الجميع يفعل ذلك منذ زمن، لذا يجدر توضيح ما تكلّفه. قراءة الأوزان من القرص مع كل رمز بطيئة بمقدار يسهل التقليل من شأنه. تظل بطاقة الرسوميات عاطلة بينما تنتظر بيانات كان يمكن استخدامها فورًا لو كانت مقيمة في الذاكرة.

النتيجة العملية هي أن هذه التهيئات تناسب مجموعة مهام مختلفة عن نموذج محمّل بالكامل في الذاكرة. إن كنت تحتاج إلى تدفق ثابت من الاستجابات السريعة لمنتج محادثة، فالبث هو الأداة الخاطئة. أما إن كنت تريد تشغيل نموذج ضخم جدًا من حين لآخر، على عتاد تملكه بالفعل، في مهمة تكون فيها سرعة الإنتاجية أقل أهمية من مجرد القدرة على إنجازها، فإن المقايضة تنقلب لصالحك.

من المفيد وضع ذلك إلى جانب الحل الالتفافي الأكثر ألفة. التكميم يصغّر النموذج نفسه، مقايضًا قدرًا يسيرًا من الدقة ببصمة أصغر، وهو يغيّر ماهية النموذج. أما البث فيترك أرقام النموذج على حالها ويغيّر المكان الذي تسكن فيه. والاثنان ليسا متنافسين؛ بل يتراكمان. النموذج المكمَّم الذي يُبثّ أيضًا طبقة تلو الأخرى أصغر وأخف من أي من التقنيتين منفردة، ولهذا النهجان يميلان إلى الظهور معًا في التطبيق.

وهناك تكلفة ثالثة أقل ترويجًا: القرص. بثّ الأوزان يعني قراءتها من التخزين في كل مرة، لذا يصبح القرص البطيء عنق الزجاجة الجديد في اللحظة التي يكفّ فيها النموذج عن الاتساع في الذاكرة. من يسلك هذا الطريق يتعلم سريعًا أن العتاد المهم ليس بطاقة الرسوميات وحدها. قد يفعل قرص حالة صلبة سريع للمعدل هنا أكثر مما تفعله بضعة غيغابايتات إضافية من ذاكرة الرسوميات.

هذا التمييز، بين التفاعلية والجدوى، هو ما تفوته معظم المقارنات. النموذج الذي يعمل ببطء شديد على مكتبك يبقى نموذجًا يمكنك تشغيله على مكتبك. ولمن لا يملك عنقودًا بحثيًا، أو لمطوّر يريد اختبار توجيه محدد على نموذج ضخم محدد، قد يكون ذلك كافيًا.

لماذا يظل رائجًا

AirLLM ليس جديدًا. لقد وُجد مدة كافية ليكون مألوفًا لمن يتابعون الاستدلال المحلي عن كثب. وهو يطفو على قوائم الرائج مرة بعد مرة لسبب لا يتصل كثيرًا بالتنفيذ المحدد، بل بالضغط الكامن خلفه.

النماذج ذات الأوزان المفتوحة تزداد حجمًا باستمرار. أفضل النماذج المفتوحة للصور والفيديو واللغة تقع الآن بثبات في نطاق لا تستطيع أي بطاقة رسوميات للاستهلاك أن تستوعبه بارتياح. وفي الوقت نفسه، ارتفعت أسعار البطاقات ذات الذاكرة الكبيرة القادرة على استيعابها، بدل أن تنخفض، مدفوعة بالطلب نفسه الذي يعيد تشكيل بقية سوق العتاد. والفجوة بين ما يمكن تشغيله وما يمكن تشغيله على عتاد معقول لا تكف عن الاتساع.

أي مشروع يدفع في مواجهة هذه الفجوة، حتى على نحو ناقص، سيظل يجد جمهورًا. البديل عالم تكون فيه حدود النماذج المفتوحة متاحة نظريًا للجميع، وعمليًا فقط لمن يملكون مركز بيانات. الحلول الالتفافية هي الطريقة التي يبقى بها المفتوح في الأوزان المفتوحة صادقًا.

ما لا يحلّه

أمران مختلفان يختلطان هنا. تشغيل نموذج كبير على بطاقة رسوميات صغيرة مشكلة ذاكرة. والحصول على مخرجات مفيدة من نموذج كبير مسألة قدرة، والاثنان ليسا شيئًا واحدًا. النموذج ذو 2.8 تريليون معامل الذي يُبثّ عبر بطاقة بسعة 4 غيغابايت لا يزال يولّد النص بوتيرة يحددها قرصه ونطاقه الترددي، وجودة ذلك النص هي جودة النموذج، لا ما جعله الحل الالتفافي ممكنًا.

وهناك أيضًا بُعد للترخيص لا يمسّه الإنجاز التقني. القدرة على تشغيل نموذج محليًا لا تقول شيئًا عن مدى إتاحة استخدام أوزانه لغرضك. فأكثر تهيئة استدلال محلي إثارة للإعجاب في العالم تظل مقيّدة بالشروط المرتبطة بالنموذج الذي تشغّله.

النقطة الأكبر

حدود الذكاء الاصطناعي المحلي ليست اختراقًا واحدًا. إنها سلسلة طويلة من قرارات هندسية غير لافتة حول مكان إقامة البيانات، ومتى تتحرك، وبما أنت مستعد للانتظار. وAirLLM مثال جيد لأنه صريح جدًا بشأن المقايضة: تتخلى عن السرعة، وفي المقابل تستطيع تشغيل شيء ما كان يفترض ألا يتسع.

ولعدد متزايد من الناس يهمّهم ما يستطيعه النموذج أكثر من مدى سرعة فعله، هذه صفقة معقولة. أما للبقية، فهي تذكير بأن هذا النموذج يحتاج إلى كذا غيغابايت قرار تصميمي بقدر ما هو حدّ عتادي. فهناك دائمًا شخص، في مكان ما، يبحث عن المكتب الأصغر من الكتاب.