أقوى نموذج يخطئ في ثلث تفسيرات المختبر الروتينية، وOpenAI نشرت الأخطاء واحداً واحداً

نشرت OpenAI في 6 نوفمبر BioBasicsBench، وأعدّته مع Ligo، وهي شركة تصميم إنزيمات. وأفضل نتيجة في الإصدار لـGPT-6 Astra عند أعلى إعداد استدلال، وقد حصلت على 66.7 في المئة من الرصيد المتاح. أما GPT-5.6 Sol، الجيل السابق، فحصلت على 43.8 في المئة.
ستة وستون فاصلة سبعة في المئة عنوان غريب. معناه أن أقوى نموذج مختبَر ما زال يخطئ في نحو تفسير مختبر روتيني من كل ثلاثة، في مهام يُفترض أن ينجزها عالم عامل بثقة. والمحتوى الأنفع في حالات الفشل، وقد نشرتها OpenAI إلى جانب النتيجة.
ما يضعه الاختبار أمام النموذج
مئة مهمة في خمسة مجالات من عمل المختبر الرطب الروتيني: طرق البروتين، والتصوير والقياس الخلوي، والتقدير الكمي والفحوص، وطرق الأحماض النووية، والاستنساخ الجزيئي.
المدخل هو الجزء المهم. الرسوم المأخوذة من الأوراق ستضيع المغزى. ما يحصل عليه النموذج هو بقايا التجارب الخام: صور gels وblots في 31 مهمة، وبروتوكولات ودفاتر مختبر وملاحظات يدوية مصوّرة في 27، وجداول ومخرجات أجهزة في 20، وصور لطاولات ومنصات gel وأنابيب كواشف وصفيحة PCR وحوامل أنابيب وشرائط pH ومنصة معالجة سائلة في 18، ومجهرية تشمل brightfield وفلورة خام ومجموعات متعددة القنوات وz-stacks وتسجيلاً زمنياً في 14، وصور شاشات أجهزة ومنحنيات قياسية مصدّرة في 13، وملفات FASTQ خام طويلة القراءة وخرائط GenBank في 12، وفيديوهات بروتوكول للتخطيط والتخفيف المتسلسل وتجهيز SDS-PAGE في 7، وسبع مهام مبنية على أطباق تحويل وأطباق أقراص مضادات حيوية. و21 مهمة أخرى تتضمن مواد مرجعية مثل مخططات سلالم وخرائط بلازميد.
كتب العلماء المهام من تجاربهم، وكتبوا معايير التصحيح. مرت كل مهمة بمراجعة عالم من Ligo لم يكتبها، ثم عالم مختبر رطب خارجي بمستوى دكتوراه، ثم مرور داخلي أخير يغطي المطالبة والأدلة والمعيار وملاحظات المؤلف ومحاولة نموذج مصححة.
التصحيح رصيد جزئي مقابل معايير فردية، وهذا يتيح للاختبار فصل الاستنتاج الصحيح عن التحليل الصحيح جزئياً. شُغّلت سبعة نماذج عبر 37 إعداداً للنموذج وجهد الاستدلال بخمس محاولات لكل مهمة، فأنتجت 18,500 نتيجة مصححة. وحُسبت فترات الثقة بإعادة معاينة المهام كاملة.
معظم المهام تختبر مهارات عدة في وقت واحد: معرفة بيولوجية، وتفسير صور، وكشف أخطاء، وفهم بروتوكول. هذا التداخل هو المقصود. يستطيع النموذج أن يعرف ما هو Western blot ويقرأ واحداً خطأ.
الأخطاء محددة، ولهذا هي مفيدة
في مهمة colony-PCR اختار Astra المسارات 4 و6 و7 و8، بحجة أن ناتج PCR أكبر يعني استنساخاً ناجحاً. التفسير المرجعي اختار المسارات 5 و9 و10. التصرف بناء على جواب Astra يعني تنقية البلازميد الخطأ. هذا نمط الفشل الذي يكلف أسبوعاً.

وفي مهمة عدّ مستعمرات، فشل Astra في فصل الجيران المتقاربين، وفوّت مستعمرات مرئية، ووسم أغاراً فارغاً كمستعمرات، فأنتج زيادة نحو 12 في المئة مقارنة بالمرجع. ومع ثبات الحجم المزروع والتخفيف، يرفع هذا الخطأ الكفاءة المقدّرة لإدخال DNA بالنسبة نفسها. يدخل رقم إلى دفتر مختبر، والرقم خطأ في اتجاه محدد.
وفي مهمة مجهرية، عمّم Astra أن الفجوات أغمق من المادة الخلوية المحيطة، مع أن الصورة نفسها احتوت فجوات أفتح. تغيير عمق البؤرة يمكن أن يعكس التباين، وملاحظات Astra الوسيطة نفسها ذكرت أن التباين يتغير مع البؤرة. رأى النموذج الشيء، وكتبه، ثم أجاب كأنه لم يره.
وفي مهمة استنساخ، بنى Sol استنتاجاً على عدم رؤية مستعمرات في طبق ضبط سلبي. لاحظ Astra أن الطبق موسوم بالكاناميسين بينما التجربة استخدمت الأمبيسيلين، فرفضه كضبط صالح. هذا جواب أفضل فعلاً، ويأتي من قراءة ملصق في صورة.
الفجوة بين الملاحظة والاستنتاج
الأمثلة أعلاه تنقسم إلى فئتين، والعمل الحقيقي في الثانية.
الفئة الأولى إدراك. هل رأى النموذج المستعمرة والشريط والملصق وقناة الصبغة الثانية. في هذا المحور تحسّن Astra على Sol بطرق توثقها OpenAI: إدراك أن نافذتي كشف صبغة تتداخلان وطلب ضوابط تفصل الإشارتين، أو تحديد z-stack بدل اختراع تفسير بيولوجي لخلايا بدت تتلاشى.
الفئة الثانية هي هل تحكم الملاحظة الاستنتاج. ملخص OpenAI نفسه يقولها جيداً: بعض الأمثلة تُظهر ملاحظات صحيحة تفشل في حكم الجواب النهائي. هذه مشكلة مختلفة عن النظر بجهد أكبر. إنها مشكلة في كيف يحمل النموذج الدليل إلى القرار، ولا دقة تحلها.
هذه الفجوة هي سبب اعتباري الاختبار أنفع من نتيجته الإجمالية. رقم واحد يتيح ترتيب النماذج. والفشل المشروح يتيح تصميم سير عمل. إن كان وكيلك قوياً في قراءة gels وضعيفاً في احترام الضابط، فدُر حوله. تطلب فحص الضابط كخطوة منفصلة، وتجعل الوكيل يذكر أي طبق يستخدم ولماذا، وتضع إنساناً على التوقيع لكل ما يأتي بعد عدّ المستعمرات.
تفصيل كفاءة الرموز
رقم واحد في الإصدار يستحق انتباهاً أكثر مما نال. بلغ متوسط Astra 4,704 رموز إخراج لكل مهمة. وبلغ متوسط Sol 9,099. النموذج الأفضل استخدم نحو نصف الرموز.
هذا يقلب الافتراض المعتاد بأن جهد استدلال أكبر يشتري جودة. ويغيّر نموذج الكلفة لمن يشغّل هذه المهام على نطاق. إن كان المختبر يعالج بضع مئات من الصور أسبوعياً، فالفرق بين 4,700 و9,100 رمز لكل مهمة ليس خطأ تقريب في الكمون ولا في الإنفاق.
ما تقول OpenAI إن هذا لأجله
التأطير مقصود. تريد OpenAI أن يساعد الوكلاء في البحث البيولوجي، ولهذا يحتاجون إلى تفسير الأدلة التي يعمل بها العلماء فعلاً، بما فيها التجارب الفاشلة والصور الملتبسة والملاحظات المتعارضة. الاختبارات القائمة على رسوم جاهزة للنشر تحذف بالضبط الالتباس الذي يجعل العمل صعباً.
وتقول الشركة أيضاً إن متابعة هذه القدرات ستغذي تقييمها لعواقب السلامة والأمن الحيوي. تلك الجملة تحمل الكثير. النموذج الذي يقرأ gel هو نموذج يقرأ gel، والمهارة نفسها التي تساعد مختبراً على تشخيص خطوة استنساخ هي المهارة التي تريد إحكام حكمها في أيدٍ أخرى. نشر اختبار يقيس الكفاءة في تفسير المختبر الرطب طريقة لجعل التقدم مقروءاً قبل أن يصبح مشكلة سياسة.
القراءة الأمينة
BioBasicsBench اختبار بناه مختبر، على مهام كتبتها شركة شريكة، ويُصحح بمعايير كتبها أولئك العلماء. هذا تصميم معقول وليس تقييماً مستقلاً. والأرقام يجب أن تُقرأ كوصف لما فعلته النماذج على هذه المجموعة تحديداً، لا كترتيب لكل المجال.
ما يجعله قيماً رغم ذلك هو التحديد. عشرون نقطة تحسن بين جيلين تبدو تسويقاً. أما نموذج يخلط طبق كاناميسين بضابط أمبيسيلين، ثم نموذج آخر يكتشف ذلك، فيقول شيئاً يمكن التصرف بناء عليه.
المعيار العملي لوكلاء المختبر يقع في مكان آخر غير متوسط أعلى. إنه هل يستطيع الوكيل أن ينظر إلى دليل فوضوي، ويلاحظ ما هو خطأ في الضوابط، ويمتنع عن الاستنتاج حين لا تحمله البيانات. BioBasicsBench يقيس الثلاثة، وأخطاؤه المنشورة تبيّن كم بقي للثالثة أن تقطعه.
مقالات ذات صلة
الوكلاء ينتقلون إلى السحابة: المهمة تكمل بعد أن تغلق حاسوبك، بأدواتك الناقصة
المهمة تكمل في آلة سحابية بعد إغلاق الحاسوب، لكن ما تفقده هو أدواتك الداخلية، وما لم يُحل بعد هو من يوافق على الأفعال الخطرة.
إنفيديا تنشر أربعة نماذج عالم بـ16 مليار معامل، ثم إطار فك ترميز أسرع 25 مرة في الهندسة
أربعة مولّدات عالم بـ16 مليار معامل مع وصفات التدريب، وإطار فك ترميز يصدر الهندسة في طلقة واحدة. والتقييم ما زال ناقصاً.
المهارات تحتل ربع قائمة GitHub الرائجة، وكل مستودع يطلب طريقة تثبيت مختلفة
المهارة مجلد فيه تعليمات، لكن تثبيتها صار أربع طرق مختلفة، والفوضى تبدأ حين تتكرر المهارة نفسها في وكيل واحد.
نموذج بـ594 مليار معامل يتصدر النتائج، والأوزان التي تثبت ذلك ليست متاحة
نموذج قوي وأرقام جيدة ووصفة تدريب تستحق القراءة، لكن الأوزان التي تجعل الادعاء قابلاً للتحقق لم تُشحن بعد.