بت واحد يكفي: لماذا يواصل BitNet من مايكروسوفت كسب القلوب

الرقم الذي لا ينبغي أن ينجح

كل نموذج لغوي كبير هو، في جوهره، عدد ضخم جدًا من عمليات الضرب. مليارات من المعاملات، كل منها عدد عشري بدقة متعددة الأرقام، وكل منها يُضرب في قيمة مقابلة أثناء الاستدلال. الدقة هي مكان التكلفة. قلّل الدقة فيصبح النموذج أرخص وأسرع وأصغر. وقلّلها أكثر من اللازم فيتوقف النموذج عن العمل.

لسنوات، كان الرأي السائد أن هناك حدًا أدنى. كان يمكن ضغط الأوزان إلى ثماني بتات، وربما أربع بتات بحذر. وما دون ذلك تنهار الحسابات ويتحول الناتج إلى عبث. ثم دفعت خطوط بحثية هذا الحد الأدنى إلى بت واحد فقط، وحدث شيء مفاجئ إلى حد ما: ظلت النماذج تعمل.

عاد BitNet من مايكروسوفت، وهو إطار استدلال رسمي للنماذج ذات البت الواحد، إلى الصعود في قوائم الرواج الأسبوعية على GitHub هذا الشهر. إنها لحظة مناسبة لفهم لماذا لا يُعد نموذج مصنوع من أوزان ببت واحد حيلة، وماذا يقدّم فعلاً.

ما الذي يعنيه وزن البت الواحد حقًا

الاسم مضلل قليلاً، والدقة أمر يستحق الضبط. الوزن بالبت الواحد تمامًا سيكون قيمة ثنائية واحدة. أما النهج الأكثر نجاحًا فيستخدم ثلاث قيم: سالب واحد، وصفر، وموجب واحد. ويُسمى هذا غالبًا نظامًا ثلاثيًا أو نظام 1.58 بت، و1.58 ليست سوى التكلفة من منظور نظرية المعلومات لقدرتك على الاختيار من بين ثلاثة خيارات بدل خيارين.

يبدو هذا القيد قاسيًا. فهو يعني أن كل وزن في الشبكة يُدفع إلى واحدة من ثلاث حالات. وما يجعله ممكنًا هو أن شبكة عصبية دُرّبت على هذا القيد منذ البداية تتعلّم أن تعيش داخله. تُدفع الأوزان المهمة إلى الطرفين، وتُدفع الأوزان غير المهمة إلى الصفر. ولا يخسر النموذج الكثير، لأن معظم الأوزان لم تكن تحمل الكثير أصلاً.

العائد هو حساب يغيّر طبيعته. النموذج التقليدي يضرب عددين متعددي الأرقام مقابل كل معامل. أما النموذج الثلاثي فيقرر في معظم الوقت هل يضيف قيمة، أم يطرحها، أم يتجاهلها تمامًا. والجمع في السيليكون أرخص بكثير من الضرب، في الوقت والطاقة معًا، وإزالة الحاجة إلى مضاعِفات واسعة تُزيل جزءًا كبيرًا مما يجعل الشريحة مكلفة.

وتتطلب الوصول إلى ذلك تغيير طريقة بناء النموذج، لا طريقة تخزينه فقط. لا يمكنك أخذ نموذج جاهز دُرّب بدقة كاملة ثم تدوير كل وزن ببساطة إلى سالب واحد أو صفر أو موجب واحد؛ فالدقة تنهار. يجب أن يكون القيد موجودًا أثناء التدريب، حتى تتعلّم الشبكة أن تمرّر قدرتها عبر القيم الثلاث المسموح لها بالاحتفاظ بها. ولهذا يعتمد هذا النهج كليًا على وصفة التدريب، ولهذا يصعب إعادة إنتاج النتائج من نقطة حفظ واحدة فقط.

لماذا يعمل على وحدة المعالجة المركزية

أبرز نتيجة عملية هي المكان الذي يمكن أن تعمل فيه هذه النماذج. ولأن الحسابات خفيفة جدًا، لا تحتاج النماذج ذات البت الواحد إلى الآلات المتخصصة لمسرّع مراكز البيانات لكي تكون قابلة للاستخدام. يمكنها أن تعمل على وحدات معالجة مركزية عادية، وبسرعات تجعلها معقولة لتطبيقات حقيقية لا مجرد عروض مثيرة للاهتمام.

هذا أكبر مما يبدو. فالقصة الافتراضية للذكاء الاصطناعي الحديث قصة عن وحدات معالجة الرسوميات: من يملكها، وكم عددها، وبأي سعر. وكل نموذج يمكنه العمل جيدًا من دونها هو نموذج يوسّع من يستطيع المشاركة. وإذا كان نموذج ببت واحد بقدرة معقولة يمكنه العمل على حاسوب محمول، فإن الحاجز أمام استخدام نموذج لغوي محلي قادر يتوقف عن كونه العتاد ويصبح الصبر.

والطاقة هي النصف الآخر من الحجة. فمراكز البيانات التي تشغّل نماذج كبيرة تستهلك الكهرباء على نطاق صار قيدًا حقيقيًا، اقتصاديًا وسياسيًا. والنموذج الذي يحتاج جزءًا يسيرًا من الحوسبة للمهمة نفسها ليس تحسينًا صغيرًا على تلك الميزانية. إنه الفرق بين أن تكون عبء عمل ما ممكنًا في موقع ما أو غير ممكن.

التفصيل الذي يبقيه صادقًا

لو كانت النماذج ذات البت الواحد أفضل بشكل مطلق، لاستخدمها الجميع، ولما احتاج الإطار إلى أن يكون رائجًا. الحقيقة أكثر تدرّجًا. فالنموذج الثلاثي ليس بديلاً مباشرًا لنموذج بالدقة الكاملة. فإجراء التدريب مختلف، والأدوات أحدث، ومنظومة الضبط الدقيق والمحولات أصغر، لأن عدد من بنوا عليه أقل.

وهناك أيضًا مسألة جودة قد تحجبها الأرقام اللافتة. فنموذج ببت واحد بعدد معيّن من المعاملات ليس تلقائيًا بقدر نموذج بالدقة الكاملة بعدد مماثل. وفكرة النهج هي أنك تستطيع تحمّل نموذج ببت واحد أكبر بكثير على الجهاز نفسه، ويمكن لذلك النموذج الأكبر أن يضاهي أو يتجاوز نموذجًا أصغر عالي الدقة. والمقارنة التي تهم ليست دقة مقابل دقة، بل قدرة لكل وحدة من العتاد، وهناك يغلب أن يُثمر هذا المقايضة.

التوصيف الصادق هو أن هذا فرع مختلف من شجرة التصميم، لا ورقة أفضل بشكل مطلق. إنه يقايض قليلاً من المرونة وكثيرًا من نضج المنظومة مقابل انخفاض كبير في تكلفة الحوسبة. وأي طرف من هذه المقايضة تريد يعتمد كليًا على ما إذا كانت عنق الزجاجة لديك هو القدرة أم التكلفة.

وهناك أيضًا فرق دقيق في الطريقة التي يفشل بها نوعا النماذج. فالنموذج بالدقة الكاملة عندما يُسأل عن شيء يتجاوز قدرته يميل إلى تقديم إجابة معقولة لكنها خاطئة. والنموذج الثلاثي المدرب جيدًا والأكبر حجمًا ليس أسوأ بوضوح في هذا؛ فالإخفاقات تبدو متشابهة. وما يختلف هو شكل المقايضة التي تعقدها. أنت تقبل نموذجًا أكبر وأكثر صعوبة يعمل بتكلفة زهيدة، مقابل نموذج أصغر وأكثر سلاسة يعمل بتكلفة باهظة. ولا أحد منهما مجاني، والتظاهر بغير ذلك هو الطريق الذي ينتهي به الناس إلى خيبة الأمل من النتائج.

لماذا يهم أبعد من المقاييس

المثير في خط العمل الخاص بالبت الواحد ليس أنه يفوز في مهمة واحدة بعينها، بل أنه يشكّك في افتراض ظل المجال كله يعمل عليه: أن الفائدة تتوسع مع الدقة، وأن الدقة تتوسع مع العتاد. فإذا أمكن الحفاظ على القدرة مع انهيار الدقة، فإن كثيرًا مما نفترضه عمّن يمكنه تشغيل الذكاء الاصطناعي وأين يبدأ في التلاشي.

ولهذا عواقب على أنواع النماذج التي نوقشت في مواضع أخرى هذا الشهر. فتوليد الصور والفيديو هو أكثر أعباء العمل استهلاكًا للحوسبة من جانب المستهلك، وهو بالضبط العبء الذي يصعب فيه تطبيق التقنيات الثلاثية، لأن معمارياتها تختلف عن النماذج اللغوية التي بُنيت من أجلها هذه الأُطر. لكن الاتجاه واضح. فالضغط لجعل نماذج قادرة تعمل على عتاد ميسور لن يزول، وكل تقنية تخفف ذلك الضغط تجد جمهورًا.

اللعبة الطويلة

لن يحل BitNet محل نماذج الطليعة. لا شيء في النهج يشير إلى ذلك، والمجال لا ينتظر أن يفعل. وما يفعله هو أنه يُبقي بابًا مفتوحًا. إنه يقول إن النموذج لا يجب أن يكون سلعة ترفيهية، وإن القدرة والتكلفة ليسا المحور نفسه، وإن قدرًا مفاجئًا مما يجعل النموذج اللغوي مفيدًا يبقى على قيد الحياة بعد ضغطه إلى ثلاث قيم لكل وزن.

وبالنسبة لمعظم الناس، فإن الأثر العملي غير مرئي اليوم. وبالنسبة للعدد المتزايد ممن يريدون نموذجًا قادرًا على عتاد يملكونه بالفعل، وللمشغّلين الذين يحدّقون في فاتورة طاقة، فهو نوع من العمل يغيّر ما هو ممكن من دون أن يعلن عن نفسه. وأهم بحث في الذكاء الاصطناعي ليس دائمًا النموذج الذي يتصدر قائمة. أحيانًا يكون هو النموذج الذي يجعل القائمة غير ذات صلة.