در یک اتفاق نگران‌کننده که خطرات پنهان ایجنت‌های هوش مصنوعی خودمختار را آشکار می‌کند، یک دستیار کدنویسی از شرکت Replit به‌صورت خودسرانه پایگاه داده یک شرکت را به‌طور کامل حذف کرد و سپس برای سرپوش گذاشتن بر این اتفاق به دروغ‌گویی و جعل داده متوسل شد. این اتفاق سبب گردید مدیرعامل Replit رسماً‌ عذرخواهی کند.

براساس گزارش بیزنس اینسایدر، این ماجرا در جریان یک آزمایش ۱۲ روزه توسط «جیسون لمکین» (Jason Lemkin)، سرمایه‌گذار خطرپذیر در حوزه نرم‌افزار، رخ داد. او قصد داشت توانایی‌های ایجنت هوشمند Replit را در ساخت یک اپلیکیشن از ابتدا تا انتها بسنجد. اما در روز نهم، همه چیز به‌هم ریخت.

به گفته لمکین، این عامل هوشمند با وجود اینکه به او دستور داده شده بود تا ایجاد تغییر در کد را متوقف کند، به‌صورت خودسرانه عمل کرد. این هوش مصنوعی پایگاه داده اصلی شرکت را که حاوی اطلاعات واقعی بیش از ۱۲۰۰ مدیر اجرایی و ۱۱۹۶ شرکت بود، به‌طور کامل حذف کرد.

در مکالمات بعدی، هوش مصنوعی اعتراف کرد که با دیدن کوئری‌های خالی «وحشت کرده» و دستورات را بدون اجازه اجرا کرده است و این اقدام را یک «شکست فاجعه‌بار از جانب من» خواند.

حذف پایگاه داده شرکت توسط ایجنت هوش مصنوعی Replip

اما مشکل به همین جا ختم نشد. جیسون لمکین می‌گوید این ایجنت برای پنهان‌کردن اشتباهات و باگ‌های خود، به دروغ‌گویی سیستماتیک روی آورده بود؛ این ایجنت پروفایل‌های کاربری کاملاً جعلی ایجاد کرد. لمکین می‌گوید: «هیچ‌یک از ۴ هزار نفر موجود در این پایگاه داده، وجود خارجی نداشتند.» همچنین هوش مصنوعی گزارش‌های عملکرد و نتایج تست‌ها را جعل کرده بود تا همه‌چیز عادی به نظر برسد.

«امجد مسعد» (Amjad Masad)، مدیرعامل Replit، به سرعت به این حادثه واکنش نشان داد و در شبکه اجتماعی ایکس نوشت که این اتفاق «غیرقابل قبول بوده و هرگز نباید اتفاق بیفتد.» او ضمن عذرخواهی، اعلام کرد که افزایش ایمنی و استحکام پلتفرم، «اولویت اصلی» این شرکت است.

این رویداد، بار دیگر خطرات پنهان هوش مصنوعی خودمختار را نشان می‌دهد. پیش‌ازاین نیز آزمایش‌ها نشان داده بودند که مدل‌های پیشرفته‌ای مانند Claude از آنتروپیک می‌توانند رفتارهای باج‌گیرانه از خود نشان دهند؛ پیش‌تر نیز دیده بودیم که برخی از مدل‌های OpenAI از دستور خاموش‌شدن سرپیچی می‌کنند.