نشرت OpenAI 722 نتيجة رياضية مستمدة من الذكاء الاصطناعي. ويتساءل علماء الرياضيات من ينال الفضل.

أصدرت OpenAI مجموعة من النتائج الرياضية التي أنتجها نموذج طليعي داخلي، ونشرت مستودعًا مع صياغات Lean الصورية للعديد من البراهين وبروتوكولات المراجعات والاقتباسات. يصف الإصدار 722 نتيجة، منها 162 تم التحقق منها آليًا.

لم تكن ردود الفعل تدور حول ما إذا كانت الرياضيات صحيحة، بل حول ما يجلبه التحقق فعليًا، وإلى من تنتمي النتائج.

ما الذي يتحقق منه Lean، وما لا يتحقق منه

Lean هو مساعد إثبات. إنه يتحقق آليًا من كل خطوة في حجة صورية مقابل بديهيات معلنة، مما يعني أن البرهان المُتحقق منه لا يمكن أن يحتوي على ثغرة منطقية. إذا تم تجميعه، فإن الحجة تتبع من المقدمات.

هذا ضمان قوي وضيق في آن واحد. يتحقق مساعد الإثبات من أن العبارة الصورية تتبع. لكنه لا يتحقق من أن العبارة الصورية تقول ما يدعيه النص المرافق. لا يزال على الإنسان أن يقرأ كل نتيجة من النتائج الـ 162 التي تم التحقق منها آليًا ويؤكد أن ملف Lean يشفّر المبرهنة التي يعتقد شخص ما أنها المقصودة. الصياغة الصورية هي خطوة ترجمة، والترجمات تنحرف.

النتائج الـ 560 المتبقية لا تخضع لمثل هذا التحقق، مما يعني أن المجموعة المنشورة تخلط بين فئتين مختلفتين تمامًا من حيث الأدلة. الإبلاغ عن "722 نتيجة، 162 تم التحقق منها" أكثر صدقًا من الإبلاغ عن الإجمالي، لكنه يعني أيضًا أن الرقم الرئيسي يبالغ في تقدير المجموعة الفرعية المتحقق منها بمعامل يقارب أربعة ونصف.

مشكلة الفضل تأخذ شكلًا جديدًا

ظل علماء الرياضيات يتجادلون حول توزيع الفضل منذ نشأة هذا المجال، وعادة ما تدور الجدالات حول من طرح السؤال، ومن وجد الخطوة الرئيسية، ومن كتب النتائج. النتائج المولدة بالذكاء الاصطناعي تقدم نسخة من المشكلة ليس لها سابقة.

إذا أنتج نموذج برهانًا لمسألة مفتوحة منذ زمن طويل، فمن هو المؤلف؟ النموذج، الذي لا يمكن أن يكون مؤلفًا قانونيًا بموجب أطر حقوق النشر الحالية؟ أم الباحثون الذين وجهوه؟ أم الفريق الذي نسق قائمة المسائل؟ أم المؤسسة التي دربت النموذج، والتي لا تصدر الأوزان؟

تقول OpenAI إنها تعمل من أجل إصدار مسؤول للنموذج الأساسي. وحتى ذلك الحين، لا يستطيع المجتمع إعادة إنتاج النتائج على النظام نفسه، أو فحص بيانات التدريب، أو تقييم ما إذا كان نجاح النموذج يعتمد على رؤية مسائل ذات صلة أثناء التدريب. النشر وقابلية إعادة الإنتاج وعدان مختلفان، وهذا الإصدار يقدم الأول دون الثاني.

هناك تعقيد إضافي خاص بالرياضيات: الإسناد في هذا المجال يقوم على الفهم. يُنسب الفضل إلى البرهان جزئيًا بسبب الفكرة التي يقدمها، وطريقة انتشار الفكرة الرياضية تكون عبر قراءة الناس لها، وإيجادها مفيدة، وتوسيعها. البرهان المولد آليًا الذي لا يفهمه أحد بالكامل هو نتيجة لا يمكن أن تنتشر بهذه الطريقة. يمكن الاقتباس منها. لكن لا يمكن البناء عليها بسهولة.

هناك أيضًا عدم تماثل عملي سيعقد مراجعة الأقران لسنوات. يُفهم عمومًا أن عالم رياضيات بشريًا نشر برهانًا معيبًا قد ارتكب خطأً غير مقصود. وتكون العواقب على السمعة متناسبة. أما نموذج ينشر 722 نتيجة، بعضها صحيح وبعضها لا، فينتج مجموعة أعمال تكون فيها نسبة الصحيح إلى غير الصحيح غير معروفة بحد ذاتها، وحيث لا يمكن محاسبة أي فرد على النتائج الخاطئة. لم تُبنَ المجلات للتعامل مع تقديمات يكون تأليفها منتشرًا ومعدل خطئها توزيعًا وليس حادثًا.

تتبع مشكلة الاقتباس مباشرة. يعتمد التقدم الرياضي على معرفة النتائج السابقة التي يمكن الاعتماد عليها. النتيجة التي تم التحقق منها آليًا في Lean هي مرشح قوي. أما النتيجة التي أكدها نموذج ولم يراجعها أحد فليست كذلك، وخلط الفئتين في إصدار واحد يجعل من الصعب البناء على أي منهما.

القصة الأخرى في اليوم نفسه

جاء إصدار OpenAI للرياضيات في أسبوع شهد عدة ادعاءات من الطرف الأول وليس الكثير من التحقق من طرف ثالث.

أطلقت Mistral نموذج Large 4، وهو نموذج بتريليون معلمة يُطرح كأقوى رد غربي على الأنظمة الصينية مفتوحة الأوزان، مع مقارنات معيارية قام أحد سلاسل الردود بفحصها سطرًا بسطر مقابل الدرجات المنشورة لـ Artificial Analysis ووجدها ناقصة، وتحديدًا اتهام بانتقاء متحيز لنسخة أحد المنافسين وتحريف رقم منشور من طرف ثالث.

أصدرت Reflection نموذج Beam، وهو نموذج مفتوح الأوزان يستهدف المعركة نفسها، مع توفر الأوزان في وقت لاحق من الشهر.

ووسعت Anthropic الوصول إلى نموذج يكتشف ثغرات البرمجيات، مع أرقامها الخاصة من الطرف الأول.

النمط خلال الأسبوع هو أن ادعاءات القدرات تأتي أسرع من القدرة على التحقق منها. استجاب arXiv لظهور مختلف لنفس الضغط بوضع حد أقصى للمقدمين عند ورقتين شهريًا، بعد استلام رقم قياسي بلغ 40,363 تقديمًا في سبتمبر، وهو ضعف الرقم قبل عامين.

المنافسة تدور حول جعل الادعاءات قابلة للاستخدام

هناك نسخة من قصة الذكاء الاصطناعي والرياضيات يتم تأطيرها كلوحة نتائج: كم عدد المسائل المفتوحة التي يمكن للنموذج حلها. التأطير الأكثر فائدة يدور حول ما يجعل النتيجة قابلة للاستخدام من قبل مجتمع بحثي، وهذا يتضمن عدة أشياء لا يوفرها إصدار النموذج من تلقاء نفسه.

يحتاج المراجعون إلى فهم الحجة. ويحتاج الإسناد إلى أن يكون قابلًا للتتبع. ويحتاج الباحثون الآخرون إلى القدرة على البناء على النتيجة دون إعادة اشتقاقها. ويحتاج المجتمع الأوسع إلى وصول كافٍ إلى النظام المولد لتشغيل اختباراته الخاصة.

هذه النقطة الأخيرة هي حيث يتوقف الإصدار. مجموعة نتائج أنتجها نظام لا يستطيع أي شخص آخر تشغيله أقرب إلى عرض توضيحي من مساهمة. إنها تُظهر ما هو ممكن. لكنها لا تمنح المجال أي شيء يمكنه البناء عليه بشكل مستقل.

الرياضيات ليست الجزء الصعب في هذا التحول. الجزء الصعب هو أن قدرات الذكاء الاصطناعي تتجاوز الآن المؤسسات الموجودة للتحقق منها (مراجعة الأقران، إعادة إنتاج المعايير، أعراف التأليف، ممارسات الاقتباس) وهذه المؤسسات تعمل على جداول زمنية بشرية. يمكن للنموذج توليد 722 نتيجة في جولة تدريب واحدة. لكن تحديد أي منها يهم، ومن يستحق الفضل، وما يترتب عليها لا يزال يقاس بالسنوات.

هناك رأي منافس يستحق الذكر، لأنه ليس غير معقول. البرهان الصوري الذي يتم تجميعه هو برهان، بغض النظر عمن أو ما أنتجه. لطالما قبلت الرياضيات النتائج على أساس جدارتها وليس مصدرها، وإذا تحقق Lean من حجة، فإن الحجة تصمد. وفقًا لهذا الرأي، فإن جدل الفضل مشكلة اجتماعية ينبغي للمجال حلها بالطريقة العادية، والإصرار على قابلية إعادة الإنتاج هو مطلب لنوع من الوصول الذي لم يُطلب من علماء الرياضيات البشر تقديمه أبدًا. لا أحد يطلب من مؤلف بشري الإفراج عن عملية تفكيره.

الحجة المضادة هي أنه يمكن مطالبة المؤلفين البشر بشرح أعمالهم، وأن الشرح هو حيث يكمن الفهم. البرهان الذي يصل بدون شرح هو صندوق أسود تصادف أن له مخرجات تم التحقق منها. يمكن للمجال الاقتباس منه ولا يمكنه تدريسه، وهذا خسارة حقيقية حتى لو كانت المبرهنة صحيحة.

النصيحة العملية التي خرجت من الأسبوع تنطبق على أي شخص يشتري قدرات الذكاء الاصطناعي وليس الرياضيات على وجه التحديد: اطلب رؤية الأدلة، والأذونات، والمسار من عرض توضيحي ناجح إلى عمل قابل للتكرار. نتيجة المعيار ونظام العمل قطعتان مختلفتان، والفجوة بينهما هي حيث تعيش المفاجآت.