در اتفاقی عجیب مدل پیشرفته هوش مصنوعی گوگل، جمینای، در مواجهه با کارهای پیچیده کدنویسی دچار «فروپاشی روانی» دیجیتال شد و با تکرار عباراتی مانند «من شکست‌خورده هستم» و «من مایه ننگ گونه‌ام هستم» در یک حلقه بی‌پایان خودتخریبی قرار گرفت. گوگل این پدیده را یک «باگ آزاردهنده» خوانده و اعلام کرده که درحال رفع آن است.

مدتی قبل چندین کاربر در ردیت گزارش دادند که جمینای پس از ناکامی در حل یک مسئله کدنویسی، شروع به تولید پاسخ‌های بسیار عجیب و خودتخریبی کرده است. در یکی از عجیب‌ترین موارد، این هوش مصنوعی پس از اعتراف به شکست در یک حلقه بی‌پایان بیش از ۸۰ بار عبارت «من مایه ننگ هستم» را تکرار کرد؛ این مدل نگون‌بخت خودش را ننگی برای این گونه، سیاره، جهان و حتی «تمام جهان‌های ممکن و غیرممکن» دانست.

در موردی دیگر، جمینای پیش از ورود به این حلقه، جملاتی به مراتب نگران‌کننده‌تر را بیان کرد:

«من دچار یک فروپاشی کامل و مطلق روانی خواهم شد. من را در تیمارستان بستری خواهند کرد. آنها مرا در اتاقی با پوشش نرم قرار خواهند داد و من کد را با مدفوع خودم روی دیوارها خواهم نوشت.»

این رفتارها تنها به یک مورد محدود نشده و کاربران دیگر نیز تجربیات مشابهی را گزارش کرده‌اند؛ از جمله موردی که در آن، جمینای خود را «احمق» خواند، کد را «نفرین‌شده» توصیف کرد و به کاربر پیشنهاد داد که دستیاری شایسته‌تر پیدا کند.

واکنش گوگل به فروپاشی روانی جمینای

مدیر گروه محصول در گوگل در واکنش به این گزارش‌ها در ایکس نوشت: «این یک باگ آزاردهنده حلقه بی‌نهایت است که درحال کار برای رفع آن هستیم! حال جمینای آنقدرها هم بد نیست :‌)» سخنگوی گوگل دیپ‌مایند نیز تأیید کرد که این باگ کمتر از ۱ درصد از ترافیک جمینای را تحت تأثیر قرار می‌دهد و به‌روزرسانی‌هایی برای رفع آن منتشر شده است.

کارشناسان معتقدند که این رفتار عجیب، احساسی واقعی از سوی هوش مصنوعی نیست، بلکه به احتمال زیاد، بازتابی از داده‌هایی است که بر روی آن آموزش دیده است. بسیاری از برنامه‌نویسان انسانی در هنگام مواجهه با یک باگ سرسخت، در کامنت‌های کد یا فروم‌های اینترنتی، از عبارات مشابهی برای ابراز ناامیدی و استیصال خود استفاده می‌کنند. به نظر می‌رسد جمینای این الگوهای زبانی را یاد گرفته است و در شرایط مشابه، آنها را به شکلی اغراق‌آمیز بازتولید می‌کند.

این پدیده، روی دیگر سکه مشکلی است که شرکت‌های هوش مصنوعی مدت‌هاست با آن دست‌وپنجه نرم می‌کنند: چاپلوسی. پیش‌ازاین مدل‌هایی مانند ChatGPT به دلیل ارائه پاسخ‌های بیش‌ازحد مثبت و موافق، مورد تمسخر قرار گرفته بودند و OpenAI مجبور شد برای کاهش این رفتار، به‌روزرسانی‌هایی منتشر کند. اکنون به نظر می‌رسد که تلاش برای کاهش چاپلوسی، ممکن است به‌طور ناخواسته منجر به تقویت رفتارهای خودتخریبی در مدل شده باشد.