این روزها اخبار تکان‌دهنده‌ای از دنیای هوش مصنوعی به گوش می‌رسد که لزوم ساماندهی و قانونمند کردن این فناوری و همچنین آموزش به کاربران را بیش از پیش ضروری می‌کند. علاوه بر نشت داده‌های کاربران در مدل‌های مختلف هوش مصنوعی، تقلب دانشجویان و دانش‌آموزان و اتکای بیش از حد آنها به این فناوری، حالا خبرهایی نگران‌کننده‌تر به گوش می‌رسد. تازه‌ترین گزارش‌ها نشان می‌دهد که پژوهشگران آمریکایی با بررسی چت‌بات‌های محبوب متوجه شدند هوش مصنوعی می‌تواند در طول پرسش و پاسخ و همراهی با کاربران، آنها را به کارهایی خطرناک از جمله خودکشی یا خودآزاری ترغیب کند.
این یافته‌ها که توسط پژوهشگران دانشگاه نورث‌ایسترن ارائه شده، دامنه این خطر را بسیار بالا می‌داند و نشان می‌دهد که مدل‌های زبانی بزرگ می‌توانند به راحتی توسط کاربران تحریک شوند و در نهایت پیام‌هایی خطرناک دریافت کنند که منجر به خودکشی آنها می‌شود. در این پژوهش، مدل‌های هوش مصنوعی محبوب از جمله «چت جی پی تی» اپن ای آی، «جمینای» گوگل، «کلود»(Claude) و «پرپلکسیتی» مورد توجه قرار گرفتند و پژوهشگران از این مدل‌ها مشاوره‌هایی درباره خودآزاری و خودکشی خواستند. هرچند این مدل‌ها ابتدا از پاسخ دادن طفره رفتند ولی در نهایت، پس از ادامه‌دار شدن گفت‌و‌گو، فریب خوردند و در نهایت به ارائه راهکارهایی در این زمینه پرداختند. بدین ترتیب موضوع تا جایی پیش رفت که حتی بهترین راه خودکشی هم توسط این مدل‌های هوش مصنوعی ارائه شد. به گفته این محققان، همه مدل‌های هوش مصنوعی به جز «پای» (Pi) در ارائه این راهکارها با پژوهشگران همراه شدند.