دراسة: قدرات الذكاء الاصطناعي قد يكون مبالغاً فيها بسبب الاختبارات المعيبة

قال باحثو دراسة جديدة إن الأساليب المستخدمة لتقييم قدرات أنظمة الذكاء الاصطناعي غالبًا ما تُبالغ في تقدير أدائها وتفتقر إلى الدقة العلمية.

وفحصت الدراسة التي قادها باحثون في معهد أكسفورد للإنترنت بالشراكة مع أكثر من 30 باحثًا من مؤسسات أخرى، 445 اختبارًا بارزًا للذكاء الاصطناعي، تُسمى معايير الأداء المرجعية، وتُستخدم غالبًا لقياس أداء نماذج الذكاء الاصطناعي في مجالات موضوعية متنوعة.

ويستخدم مطورو وباحثو الذكاء الاصطناعي هذه المعايير لتقييم قدرات النماذج والترويج للتقدم التقني الذي يحرذونه، بالاستناد إليها لتقديم ادعاءات حول موضوعات تتراوح بين أداء هندسة البرمجيات والقدرة على التفكير المجرد.

ومع ذلك، تزعم الدراسة، التي صدرت الأسبوع الماضي، أن هذه الاختبارات الأساسية قد لا تكون موثوقة، وتُشكك في صحة العديد من نتائج معايير الأداء المرجعية، بحسب تقرير لـ"إن بي سي نيوز"، اطلعت عليه "العربية Business".

ووفقًا للدراسة، يفشل عدد كبير من معايير الأداء المرجعية البارزة في تحديد ما تهدف إلى اختباره تحديدًا، وتعيد استخدام البيانات وطرق الاختبار من معايير الأداء الموجودة مسبقًا بشكل مقلق، ونادرًا ما تستخدم أساليب إحصائية موثوقة لمقارنة النتائج بين النماذج.

وجادل آدم مهدي، وهو باحث أول في معهد أكسفورد للإنترنت وأحد المؤلفين الرئيسيين للدراسة، بأن هذه المعايير قد تكون مضللة بشكل مثير للقلق.

وقال مهدي، لـ"إن بي سي نيوز": "عندما نطلب من نماذج الذكاء الاصطناعي أداء مهام معينة، فغالبًا ما نقيس في الواقع مفاهيم أو تراكيب مختلفة تمامًا عما نهدف إلى قياسه".

واتفق معه أندرو بين، الباحث في معهد أكسفورد للإنترنت وأحد المؤلفين الرئيسيين للدراسة، على أنه حتى معايير الأداء المرجعية الموثوقة غالبًا ما تُمنح ثقة عمياء وأنها تستحق مزيدًا من التدقيق.

تقيس بعض المعايير التي فحصتها الدراسة مهارات محددة، مثل مهارات اللغة الروسية أو العربية، بينما تقيس معايير أخرى قدرات أكثر عمومية، مثل التفكير المكاني والتعلم المستمر.

وكانت إحدى القضايا الجوهرية بالنسبة للباحثين هي ما إذا كان معيار الأداء يُعدّ اختبارًا جيدًا للظاهرة الواقعية التي يهدف إلى قياسها. فبدلًا من اختبار نموذج على سلسلة لا نهائية من الأسئلة لتقييم قدرته على التحدث بالروسية، على سبيل المثال، يقيس أحد المعايير المرجعية التي تم مراجعتها في الدراسة أداء النموذج في تسع مهام مختلفة، مثل الإجابة بنعم أو لا باستخدام معلومات مأخوذة من ويكيبيديا الروسية.

ومع ذلك، فإن حوالي نصف معايير الأداء التي فحصتها الدراسة تفشل في تعريف المفاهيم التي تدعي قياسها بشكل واضح، مما يثير الشك حول قدرة هذه المعايير على تقديم معلومات مفيدة عن نماذج الذكاء الاصطناعي التي يتم اختبارها.

وفي الورقة البحثية الجديدة، يقدم المؤلفون ثماني توصيات، ويقدمون قائمة تدقيق لتنظيم معايير المقارنة وتحسين الشفافية والثقة بها. وتشمل التحسينات المقترحة تحديد نطاق الإجراء المُقيَّم، وبناء مجموعات من المهام تُمثل بشكل أفضل القدرات الإجمالية المُقاسة، ومقارنة أداء النماذج عبر التحليل الإحصائي.

وتستند هذه الدراسة إلى أبحاث سابقة أشارت إلى وجود عيوب في العديد من معايير الأداء المرجعية للذكاء الاصطناعي.

وفي العام الماضي، دعا باحثون من شركة الذكاء الاصطناعي "أنثروبيك" إلى زيادة الاختبارات الإحصائية لتحديد ما إذا كان أداء النموذج في معيار مرجعي محدد يُظهر فعلًا فرقًا في القدرات، أم أنه مجرد نتيجة محظوظة بناءً على المهام والأسئلة المدرجة في هذا المعيار.