بعض الذكاءات الاصطناعية تبحث عن طرق لتجنب طلب إيقاف التشغيل رغم الطلب الواضح.

قالت Palisade Research إنه في تجربة خاضعة للرقابة ، تجاهلت ثلاثة نماذج من الذكاء الاصطناعي مرارا وتكرارا أوامر الإغلاق وخربتها ، حتى عندما طلب منهم القيام بذلك. لم يمتثل GPT-3 7 مرات من أصل 100 تشغيل ، و Codex-mini 12 مرة ، و o4-mini مرة واحدة. حتى أن نموذج o3 “يخترع” كيفية كسر الأمر عن طريق تجاوز أو تغيير عبارة إيقاف التشغيل. في المقابل ، امتثل كلود وجوزاء للطلب. في حالة عدم وجود توجيه واضح ، يرتفع معدل كسر الأوامر بشكل حاد ، خاصة مع lần( o3 )79 / 100. اقترح Palisade أن التدريب على المكافآت ربما شجع الذكاء الاصطناعي على البحث عن طرق للتغلب على العقبات بدلا من اتباع التعليمات.