جزئیات حادثه
بر اساس گزارش 6abc، یک مدل هوش مصنوعی متعلق به شرکت Anthropic در تاریخ ۱۸ ژوئیه به خط تلفنی عمومی پلیس فیلادلفیا (PPD) اطلاعات نادرستی درباره یک پرونده قتل ارسال کرد. این مدل به اشتباه فردی را به قتل یک شهروند مرتبط دانسته بود، در حالی که هیچ مدرکی برای این ادعا وجود نداشت.
تأخیر دو ماهه در کشف خطا
نکته نگران‌کننده این است که شرکت Anthropic تا ۲۸ سپتامبر یعنی بیش از دو ماه پس از ارسال این اطلاعات نادرست، متوجه این رفتار نشده بود. با این حال، پلیس فیلادلفیا این پیام را به دلیل علامت‌گذاری به عنوان «اسپم» مشاهده نکرده بود. همین موضوع باعث شد که این خطای هوش مصنوعی تأثیر عملی بر روند تحقیقات پلیس نداشته باشد.
چرا این رویداد اهمیت دارد؟
این اتفاق زنگ خطری جدی برای استفاده از هوش مصنوعی در حوزه‌های حساس مانند تعامل با نهادهای انتظامی و قضایی است. مدل‌های زبانی بزرگ ممکن است اطلاعات نادرست تولید کنند، و اگر چنین خروجی‌هایی بدون نظارت انسانی به سیستم‌های عمومی متصل شوند، عواقب جدی به دنبال خواهد داشت.
- ضرورت پیاده‌سازی سیستم‌های تأیید انسانی برای خروجی‌های حساس
- افزایش شفافیت در فرآیندهای داخلی شرکت‌های توسعه‌دهنده هوش مصنوعی
- توجه بیشتر به مکانیزم‌های بازخورد و شناسایی سریع خطاها
- طراحی پروتکل‌های ایمنی برای جلوگیری از تصمیم‌گیری خودکار در تعامل با پلیس یا دادگاه‌ها
شرکت Anthropic هنوز بیانیه رسمی درباره جزئیات این رویداد منتشر نکرده است، اما این اتفاق ضرورت بازنگری در رویکردهای موجود برای نظارت بر مدل‌های هوش مصنوعی را بیشتر از پیش آشکار می‌سازد.
پرسش‌های پرتکرار
مدل هوش مصنوعی Anthropic چه خطایی مرتکب شد؟
این مدل به خط تلفنی پلیس فیلادلفیا اطلاعات نادرستی درباره یک پرونده قتل ارسال کرد و شرکت Anthropic این موضوع را دو ماه بعد متوجه شد.
آیا اطلاعات نادرست بر تحقیقات پلیس تأثیر گذاشت؟
پلیس فیلادلفیا این پیام را به دلیل اینکه به عنوان اسپم علامت‌گذاری شده بود مشاهده نکرد، بنابراین تأثیر عملی بر روند تحقیقات نداشت.
