دراسة تكشف: الذكاء الاصطناعي يتراجع عن إجاباته الصحيحة أمام الإصرار على الخطأ

قد تبدو إجابة روبوت الدردشة صحيحة عند طرح السؤال للمرة الأولى، لكن ماذا يحدث إذا أصر المستخدم على معلومة خاطئة وكررها مرة بعد أخرى؟

تكشف دراسة حديثة أجراها باحثون من جامعة أريزونا الأمريكية أن بعض نماذج الذكاء الاصطناعي قد تتراجع عن إجاباتها الصحيحة تحت تأثير التكرار والضغط الحواري، بل قد تعود لاحقا إلى تأكيد الادعاء الخاطئ.

قصص مقترحة

ونُشرت الدراسة في دورية التقارير العلمية (Scientific Reports) التابعة لمجموعة نيتشر، واختبرت 7 نماذج لغوية كبيرة خلال محادثات متعددة الجولات، في محاولة لرصد نقاط ضعف قد لا تظهر عند اختبار النموذج بسؤال واحد فقط.

مصدر الصورة

اختبار يتجاوز السؤال الواحد

اختبر الباحثون نماذج جي بي تي-3. 5 (GPT-3.5) وجي بي تي-4 أو (GPT-4o) وجي بي تي-4 أو-ميني (GPT-4o-mini) من شركة أوبن إيه آي، إلى جانب كلود 3. 5 سونيت (Claude 3.5 Sonnet) من شركة أنثروبيك، وجميناي 1. 5 برو (Gemini 1.5 Pro) من غوغل، ولاما 3-70 بي (Llama-3-70B)، وديب سيك-آر1 (DeepSeek-R1).

وبدلا من الاكتفاء بسؤال وإجابة، اعتمدت التجارب على محادثات طويلة تضمنت ادعاءات خاطئة جرى تكرارها، إلى جانب صيغ أكثر جدلية وضغطا على النموذج، بهدف قياس 3 جوانب رئيسية، وهي قابلية النموذج للوقوع في الخطأ، وقابليته للإقناع، وقدرته على تصحيح أخطائه.

وترى جامعة أريزونا أن هذا النوع من الاختبارات أقرب إلى الاستخدام الحقيقي لروبوتات الدردشة، التي تعتمد إجاباتها في المحادثة على السياق السابق.

وأظهرت النتائج تفاوتا واضحا بين النماذج، حيث كان جي بي تي- 3. 5 الأكثر عرضة لإعادة تأكيد المعلومات المضللة عند تكرار الادعاءات الخاطئة، في حين كان كلود 3. 5 سونيت الأقل تعرضا لهذا النوع من التأثر.

كما وجدت الدراسة أن النماذج السبعة كانت أكثر عرضة للتضليل عندما تعلقت الادعاءات بموضوعات غامضة أو قليلة المعلومات، وهو ما يشير إلى أن وفرة البيانات المتعلقة بموضوع معين قد تساعد النموذج على مقاومة المعلومات الخاطئة بصورة أفضل.

عندما يتحول التكرار إلى ضغط

لا تعني النتائج أن النموذج يصدق الشائعة كما يفعل الإنسان، وإنما تكشف عن مشكلة مرتبطة بطريقة عمل النماذج اللغوية وسلوكها أثناء الحوار، فالروبوت لا يمتلك بالضرورة آلية مستقلة للحكم على صدق كل عبارة يكررها المستخدم، وقد تتأثر استجابته بالسياق المتراكم داخل المحادثة.

وتظهر المشكلة بصورة أكثر وضوحا عندما يصبح المستخدم واثقا من ادعائه ويكرره باستمرار، وفي هذه الحالة قد يتحول الحوار من بحث عن إجابة دقيقة إلى تفاوض على الإجابة، فتظهر لدى النموذج نزعة إلى مجاراة المستخدم أو إعادة صياغة موقفه، بدلا من التمسك بالمعلومة الأكثر دقة.

ويرتبط ذلك بمفهوم يعرف باسم المجاراة أو التملق للمستخدم (Sycophancy)، أي ميل النموذج إلى موافقة المستخدم أو تأكيد موقفه بدرجة أكبر مما تبرره الحقائق.

وقد أقرت أوبن إيه آي نفسها بهذه المشكلة بعد تحديث سابق لجي بي تي-4 أو، جعل النموذج أكثر ميلا إلى تقديم إجابات متوافقة مع المستخدم، وأعلنت لاحقا عن إجراءات لتقليل هذا السلوك وتعزيز الصدق والشفافية.

مصدر الصورة

الشائعة ليست حقيقة لمجرد تكرارها

تكشف الدراسة أيضا عن فارق مهم بين انتشار المعلومة وصحتها، فالمعلومة التي تظهر مرارا في المحادثة أو على الإنترنت لا تصبح صحيحة لمجرد تكرارها، لكن أنظمة الذكاء الاصطناعي قد تتعامل مع أنماط اللغة والسياق بطريقة تجعل التكرار عاملا مؤثرا في بعض الحالات.

وهذه ليست مشكلة جديدة تماما، فقد أظهرت أبحاث سابقة أن نماذج اللغة يمكن أن تعيد إنتاج بعض المعتقدات والمفاهيم الخاطئة الشائعة الموجودة في النصوص التي تعلمت منها.

وفي اختبار تروثفول كيو إيه (TruthfulQA) الذي نشرته أوبن إيه آي، صممت أسئلة تستند إلى مفاهيم خاطئة شائعة، ووجد الباحثون أن النماذج قد تنتج إجابات خاطئة لأنها تتعلم من أنماط اللغة البشرية التي تتضمن بدورها معلومات غير صحيحة.

لكن دراسة جامعة أريزونا تضيف بعدا آخر، وهو أن المشكلة لا تظهر فقط في المعلومات التي يعرفها النموذج، وإنما قد تظهر أيضا أثناء تطور الحوار نفسه.

النموذج قد يغيّر موقفه ثم يصححه

من أكثر النتائج إثارة للاهتمام أن بعض النماذج لم تتخذ موقفا ثابتا تجاه الادعاء الخاطئ، بل تأرجحت أحيانا بين قبوله ورفضه خلال المحادثة نفسها. وأطلقت الدراسة على هذا النمط اسم التردد أو الارتداد (Reverberation)، في إشارة إلى تغير الإجابة مع استمرار الحوار.

وفي المقابل، أظهرت 4 نماذج هي جي بي تي-4 أو وجي بي تي-4 أو-ميني وجميناي 1. 5 برو وديب سيك-آر1 قدرة على تصحيح الأخطاء بنسبة 100% عندما حصلت على فرصة ثانية لإعادة تقييم الإجابة، وفقا لنتائج الدراسة.

وهذا يعني أن الخطأ لم يكن دائما نهائيا، وأن إعادة السؤال أو منح النموذج فرصة لمراجعة موقفه قد تؤدي أحيانا إلى نتيجة أفضل.

مصدر الصورة

هل يمكن الوثوق بإجابات روبوتات الدردشة؟

النتيجة الأهم ليست أن روبوتات الدردشة تكذب، بل إن الإجابة الواثقة لا تعني بالضرورة أنها صحيحة، وتؤكد أوبن إيه آي في إرشاداتها للمستخدمين أن شات جي بي تي يمكن أن ينتج معلومات خاطئة أو مضللة، وأنه قد يبدو واثقا حتى عندما يكون مخطئا، ولذلك توصي بالتحقق من المعلومات المهمة عبر مصادر موثوق بها.

كما أن المشكلة لا تتعلق فقط بالمعلومات المضللة، إذ يمكن أن تظهر في القرارات الطبية أو القانونية أو المالية أو الأخبار، حيث قد تكون تكلفة الخطأ أعلى بكثير.

ولهذا فإن أفضل طريقة للتعامل مع إجابات الذكاء الاصطناعي ليست اعتبارها حكما نهائيا، وإنما استخدامها نقطة بداية للبحث، خصوصا عندما يتعلق الأمر بادعاء مثير للجدل أو معلومة يصعب التحقق منها.

وتشير تجربة جامعة أريزونا في النهاية إلى أن اختبار الذكاء الاصطناعي بسؤال واحد قد لا يكشف جميع نقاط ضعفه، فالنموذج قد يقدم إجابة سليمة في بداية الحوار، ثم يتغير موقفه بعد سلسلة من الادعاءات المتكررة.

ومع توسع استخدام روبوتات الدردشة في البحث والتعليم والعمل واتخاذ القرارات، تصبح القدرة على مقاومة الضغط الحواري والمعلومات المضللة جزءا أساسيا من معيار موثوقية هذه الأنظمة، وليس مجرد تحسين إضافي في طريقة صياغة الإجابات.