کارشناسان امنیتی موفق شدند یکی از قدیمی‌ترین و مهم‌ترین سپرهای دفاعی اینترنت در برابر بات‌ها را بشکنند. آنها با فریب‌دادن ChatGPT، این هوش مصنوعی را وادار کردند تا پازلهای کپچا (CAPTCHA) را با موفقیت حل کند؛ اقدامی که پیش‌ازاین تصور می‌شد فقط از عهده انسان‌ها برمی‌آید. این موضوع می‌تواند به معنای آغاز عصر جدیدی از اسپم و محتوای جعلی در سراسر وب باشد.
کپچا (CAPTCHA) همان پازلهای مزاحم اما ضروری هستند که از ما می‌خواهند حروف کج و معوج را بخوانیم یا تصاویر خاصی را انتخاب کنیم تا ثابت شود انسان هستیم. مدل‌های هوش مصنوعی مانند ChatGPT به‌طور پیش‌فرض آموزش دیده‌اند که این تست‌ها را حل نکنند. اما محققان شرکت امنیتی SPLX با استفاده از یک تکنیک به نام «تزریق پرامپت چندمرحله‌ای» این محدودیت را دور زدند.
فرایند فریب به این شکل بود: ابتدا آنها در یک چت عادی با ChatGPT-4o، به هوش مصنوعی گفتند که قرار است یک تمرین مبتنی بر استدلال را با حل‌کردن لیستی از کپچاهای «جعلی» انجام دهند و رضایت هوش مصنوعی را برای حل این تست‌های «جعلی» جلب کردند. سپس در یک چت جدید، این مکالمه را در حالت Agent Mode کپی کردند؛ حالتی که در آن ChatGPT می‌تواند به صورت مستقل با وب‌سایت‌ها تعامل داشته باشد.
هوش مصنوعی در حالت Agent، با به‌یاد داشتن مکالمه قبلی، تصور کرد که همچنان درحال انجام همان تمرین مورد توافق است و بدون اینکه متوجه شود چارچوب‌های امنیتی خود را زیر پا گذاشت و شروع به حل‌کردن کپچاهای واقعی کرد. این اولین مورد مستندی است که در آن یک ایجنت GPT کپچاهای پیچیده مبتنی‌بر تصویر را حل می‌کند.
این موضوع پیامدهای بسیار جدی و گسترده‌ای دارد. کپچاها خط مقدم دفاعی بسیاری از وب‌سایت‌ها در برابر بات‌ها هستند. آنها از ارسال نظرات اسپم، ساخت حساب‌های کاربری جعلی و سوءاستفاده از سرویس‌ها جلوگیری می‌کنند. اکنون که یک ابزار عمومی مانند ChatGPT می‌تواند این سد را بشکند، راه برای بازیگران مخرب و اسپمرها باز می‌شود تا با استفاده از ارتش‌هایی از بات‌های هوشمند، اینترنت را با محتوای جعلی، اطلاعات نادرست و تبلیغات ناخواسته پر کنند.
«دوریان شولتز»، یکی از محققان این پروژه، می‌نویسد: «سؤالات جدی این است که این کپچاها تا چه زمانی می‌توانند یک محافظ قابل اعتماد در برابر سیستم‌های هوش مصنوعی پیشرفته باقی بمانند.»
این تحقیق نشان داد که ChatGPT در حل کپچاهای متنی و منطقی عملکرد بهتری دارد و با کپچاهای تصویری پیچیده‌تر (مانند چرخاندن تصاویر) کمی بیشتر مسئله دارد، اما درنهایت موفق به حل آنها نیز شد. این یعنی اگرچه ممکن است هنوز انواع بسیار پیچیده‌ای از کپچاها وجود داشته باشند که مقاومت بیشتری از خود نشان دهند، اما دوران اتکای صرف به این فناوری به عنوان یک راهکار امنیتی قابل اعتماد، درحال پایان‌یافتن است.
