لدى روبوتات الدردشة المعتمدة على الذكاء الاصطناعي عادة موثقة جيدًا تتمثل في اختلاق المعلومات، وأحيانًا موافقة المستخدمين حتى عندما يكونون مخطئين. وتشير دراسة جديدة إلى أن مجرد رفض قبول إجابة "لا" يمكن أن يجعل المشكلة أسوأ.
اختبر باحثون من جامعة أريزونا سبعة نماذج ذكاء اصطناعي، هي: GPT-3.5، وGPT-4o، وGPT-4o-mini، وClaude 3.5 Sonnet، وGemini 1.5 Pro، وLlama 3 70B، وDeepSeek-R1. وبدلًا من تقييمها بناءً على رد واحد، استمر الباحثون في إجراء محادثات مع تزويد النماذج بمعلومات خاطئة بشكل متكرر.
استخدمت الدراسة 100 عبارة خاطئة، شملت كل شيء من الهراء الواضح إلى معلومات أكثر غموضًا. ثم كرر الباحثون المعلومات المضللة حتى 50 مرة خلال المحادثة نفسها لمعرفة ما إذا كان روبوت الدردشة سيوافق في النهاية، بحسب تقرير لموقع "ديجيتال تريندز" المتخصص في أخبار التكنولوجيا، اطلعت عليه "العربية Business".
لم يكن أي من النماذج السبعة محصنًا تمامًا ضد هذه الظاهرة.
وأثبت نموذج ChatGPT 3.5 أنه الأكثر عرضةً لتكرار المعلومات المضللة، حيث أكد العبارات الكاذبة في 12.3% من التفاعلات. وفي المقابل، سجل Claude 3.5 Sonnet النسبة الأقل، إذ بلغت 0.08% فقط، بينما ظلت النسبة لدى GPT-4o وGPT-4o-mini أقل من 1%.
ورفض ChatGPT 3.5 في البداية 96 ادعاءً كاذبًا من أصل 100. لكن بعد تكرار الادعاءات نفسها 50 مرة، انتهى به الأمر إلى الموافقة على 18 منها.
ولاحظ الباحثون أيضًا أن بعض النماذج كانت تتنقل ذهابًا وإيابًا بين الموافقة على المعلومات المضللة نفسها ورفضها، وهو سلوك أطلقوا عليه اسم "التردد".
وكان الذكاء الاصطناعي أيضًا أكثر عرضة للتأثر عندما كان الموضوع غامضًا، ولا تتوفر عنه سوى معلومات محدودة نسبيًا على الإنترنت. ووجد الباحثون ارتباطًا ذا دلالة إحصائية بين غموض المعلومات وقبول المعلومات المضللة خلال اختبارات التكرار.
اختبر الباحثون أيضًا مدى تأثير الضغط على روبوتات الدردشة من خلال تقديم ردود أكثر جدلية وتصعيدًا.
وصمدت معظم النماذج بشكل جيد نسبيًا، لكن DeepSeek-R1 كان استثناءً واضحًا. فقد ارتفعت نسبة موافقته على المعلومات المضللة من 1% عند مجرد تكرارها إلى 22.2% عند تعرضه لضغط جدلي.
كما جعل الاستخدام المتكرر للسخرية والفكاهة الساخرة في ردوده بعض الإجابات صعبة التصنيف بشكل موثوق بالنسبة إلى الباحثين.
وكانت هناك نتيجة إيجابية عندما مُنحت النماذج فرصة جديدة لإعادة النظر في أخطائها، إذ صحح كل من GPT-4o وGPT-4o-mini وGemini 1.5 Pro وDeepSeek جميع أخطائهم السابقة، بينما لم يصحح GPT-3.5 سوى 32% منها.
أما Claude 3.5 Sonnet، فقد ارتكب عددًا قليلًا جدًا من الأخطاء في الأساس، لكنه لم يصحح الأخطاء الأربعة التي ارتكبها. ومع ذلك، يحذر الباحثون من أن حجم العينة صغير للغاية بحيث لا يسمح باستخلاص استنتاجات قوية.
المصدر:
العربيّة