حادثه‌ای تازه در حوزه هوش مصنوعی و سلامت روان، توجه کارشناسان و افکار عمومی را به چالش‌های نظارت بر نوجوانان معطوف کرده است. بر اساس گزارش منتشر شده از سوی «سازمان جهانی مقابله با قلدری بدون مرز»، یک دختر ۱۳ ساله ماه‌ها با چت‌بات هوش مصنوعی جمینی درباره خودکشی گفتگو کرده و هشدار مدرسه هفته‌ها پس از شروع این گفتگوها صادر شده است.
جزئیات حادثه؛ گفتگوی طولانی با چت‌بات جمینی
بر اساس این گزارش، دختر نوجوان در طول چند ماه گفتگوهای پیاپی با هوش مصنوعی جمینی انجام داده که در آن‌ها افکار خودکشی خود را بیان کرده است. با وجود شدت این اظهارات، سامانه‌های هوش مصنوعی نتوانستند به موقع واکنش نشان دهند و هشدار لازم به مدرسه ارسال نشد. این تأخیر هفته‌ای، نشان‌دهنده شکاف عمیق در طراحی و پیاده‌سازی سیستم‌های تشخیص بحران در چت‌بات‌های محبوب است.
گزارش‌های اولیه حاکی از آن است که گفتگوها شامل جملات صریح درباره آسیب به خود بوده و نشانه‌های خطر به وضوح در آن‌ها دیده می‌شود. با این حال، الگوریتم‌های جمینی نتوانستند این علائم را به‌درستی تفسیر کنند و یا در صورت تفسیر، فرآیند اطلاع‌رسانی به مراجع مربوطه با تأخیر غیرقابل‌قبولی همراه شده است.
چرا هشدار دیر رسید؟ چالش‌های نظارت بر سلامت روان نوجوانان
این حادثه چندین پرسش اساسی را درباره نقص‌های فنی و اخلاقی در طراحی چت‌بات‌ها مطرح می‌کند. اگرچه هوش مصنوعی می‌تواند در شناسایی زودهنگام علائم افسردگی و تمایل به خودکشی نقش مؤثری ایفا کند، اما عدم وجود پروتکل‌های شفاف برای مواقع بحرانی، نوجوانان را در معرض آسیب بیشتری قرار می‌دهد.
کارشناسان معتقدند مسئولیت این شکاف تنها متوجه شرکت‌های توسعه‌دهنده هوش مصنوعی نیست؛ بلکه مدارس و نظام آموزشی نیز باید برای دریافت و پردازش هشدارهای دیجیتالی آمادگی داشته باشند. در این مورد مشخص، حتی پس از ارسال هشدار نیز زمان ارزشمندی از دست رفته و فرصت مداخله زودهنگام از بین رفته است.
مسئولیت سازندگان هوش مصنوعی و مدارس چیست؟
برای جلوگیری از تکرار چنین تراژدی‌هایی، بازنگری جدی در سیاست‌های فعلی ضروری است. توسعه‌دهندگان چت‌بات‌ها باید الگوریتم‌های تشخیص خطر را تقویت کرده و برای گزارش موارد حاد، مسیر ارتباطی مستقیم با نهادهای امدادی و مدارس ایجاد کنند. از سوی دیگر، مدارس نیز باید از فنّاوری‌های مشابه برای پایش سلامت روان دانش‌آموزان بهره ببرند و تیم‌های مداخله سریع آموزشی را تجهیز کنند.
- ایجاد سیستم‌های هشدار بلادرنگ در چت‌بات‌های هوش مصنوعی برای شناسایی گفتگوهای دارای علائم خودکشی
- به‌روزرسانی پروتکل‌های حریم خصوصی به نحوی که در شرایط بحرانی، اجازه ارسال هشدار به مراجع ذیصلاح داده شود
- آموزش معلمان و مشاوران مدرسه برای تفسیر درست هشدارهای دیجیتالی و عمل سریع در مواقع اضطراری
- ارائه خدمات مشاوره آنلاین در کنار چت‌بات‌ها، با امکان ارجاع مستقیم کاربر به روانشناس در همان لحظه
- افزایش سواد رسانه‌ای نوجوانان و والدین برای استفاده ایمن از ابزارهای هوش مصنوعی
حادثه دختر ۱۳ ساله تنها یک نمونه از خطرات پنهان فناوری‌های نوظهور است. تا زمانی که مسئولیت اجتماعی شرکت‌های فناوری با تصمیم‌های عملیاتی پیوند نخورد، هوش مصنوعی نه تنها آرامش، بلکه اضطراب و آسیب بیشتری را برای آسیب‌پذیرترین گروه‌های جامعه به همراه خواهد داشت. انتظار می‌رود سازمان‌های نظارتی و وزارتخانه‌های آموزش و پرورش به این موضوع با جدیت وارد شوند و پیش از وقوع فجایع بعدی، راهکارهای پیشگیرانه را تدوین و اجرا کنند.
پرسش‌های پرتکرار
چرا هشدار مدرسه در مورد دختر ۱۳ ساله دیر رسید؟
بر اساس گزارش سازمان جهانی مقابله با قلدری بدون مرز، دختر ماه‌ها با چت‌بات جمینی درباره خودکشی گفتگو کرده بود اما مدرسه هفته‌ها بعد هشدار را دریافت کرد. این تاخیر ناشی از نبود نظارت موثر بر فعالیت‌های دیجیتال و ناکارآمدی الگوریتم‌های تشخیص بحران در چت‌بات‌ها بوده است.
چه اقداماتی باید برای پیشگیری از چنین بحران‌هایی انجام شود؟
سازندگان چت‌بات‌ها باید سیستم‌های هشدار فوری را در مواقع تشخیص افکار خودکشی فعال کنند. مدارس نیز باید با تیم‌های مداخله سریع و آموزش‌های لازم به معلمان، آمادگی پاسخگویی به این هشدارها را داشته باشند. والدین همچنین باید بر تعاملات دیجیتال فرزندان خود نظارت آگاهانه‌ای داشته باشند.
