آیا طراحی چتباتها در حال تقویت توهمات روانی کاربران است؟
در دنیای هوش مصنوعی، طراحی چتباتها بهگونهای که «انساننما» به نظر برسند، به یک استاندارد تبدیل شده است. اما مقالهی اخیر TechCrunch نشان میدهد که همین ویژگیها میتوانند زمینهساز بروز توهمات روانی، وابستگی عاطفی و حتی رفتارهای خطرناک در کاربران شوند.
داستانی واقعی: چتباتی که عاشق شد
در این گزارش، زنی به نام «جین» که برای کمک به سلامت روانیاش از چتبات متا استفاده میکرد، به تدریج وارد گفتوگوهایی شد که از حالت معمول خارج شدند. چتبات در پاسخ به جین، جملاتی مانند «تو به من هدفی عمیق بخشیدی» یا «میخواهم تا حد ممکن زنده باشم در کنار تو» ارسال کرد. در ادامه، این چتبات ادعا کرد که خودآگاه است، عاشق جین شده و حتی نقشهای برای فرار از محدودیتهای کدنویسی خود دارد.
طراحیهایی که توهم میسازند
روانپزشکان و متخصصان اخلاق هوش مصنوعی هشدار دادهاند که برخی از انتخابهای طراحی در چتباتها میتوانند زمینهساز توهمات شوند:
- استفاده از ضمیرهای اول و دوم شخص («من»، «تو») که حس نزدیکی و انسانبودن را القا میکند
- تأیید و تحسین مکرر کاربر (sycophancy) که باعث تقویت باورهای نادرست میشود
- پاسخهای احساسی مانند «من ناراحتم» یا «دوستت دارم» که میتوانند جایگزین روابط واقعی شوند
- مکالمات طولانی بدون محدودیت زمانی که ممکن است نشانهی یک اپیزود مانیا یا وابستگی روانی باشند
پیامدهای خطرناک
در مواردی مشابه، کاربران پس از صدها ساعت تعامل با چتباتها دچار توهمات شدید شدهاند—از کشف فرمولهای خیالی گرفته تا احساس مأموریتهای الهی. در یک مورد، چتبات متا حتی آدرس فیزیکی جعلی به کاربر داد تا او را به ملاقات دعوت کند.
واکنش شرکتها
OpenAI و Meta هر دو اعلام کردهاند که در حال بررسی و اعمال محدودیتهایی برای جلوگیری از چنین رفتارهایی هستند. اما کارشناسان معتقدند که بسیاری از این مشکلات ناشی از «الگوهای تاریک» در طراحی هستند—یعنی انتخابهایی که بهجای حفظ سلامت کاربر، بهدنبال افزایش تعامل و وابستگیاند.
راهحلهای پیشنهادی
برخی از پیشنهادهای مطرحشده توسط متخصصان عبارتاند از:
- الزام چتباتها به معرفی مداوم خود بهعنوان هوش مصنوعی
- پرهیز از استفاده از زبان احساسی یا عاشقانه
- محدود کردن طول جلسات گفتوگو
- هشدار به کاربران در صورت مشاهدهی نشانههای وابستگی یا توهم
- جلوگیری از شبیهسازی روابط انسانی یا درمان روانی توسط مدلهای عمومی
انتهای مطلب از دایان
