مرکز ملی استاندارد و تکنولوژی ایالات متحده (NIST) که یکی از مرجع‌های کلیدی در زمینه امنیت سایبری و استانداردهای فنی است، یافته‌های اخیر خود را درباره‌ی چالش‌های گسترش فناوری‌های هوش مصنوعی در بخش دولتی و سازمانی منتشر کرد. این گزارش بر جنبه‌های عملیاتی امنیت داده و مدیریت بحران تمرکز دارد و نشان می‌دهد که بسیاری از نهادها هنوز متولی یا فرآیند مشخصی برای مقابله با حوادث ناشی از به‌کارگیری الگوریتم‌های پیش‌بینی و تصمیم‌گیری دارند.
تحلیل شکاف‌های عملیاتی در پاسخ به حوادث
یکی از یافته‌های محوری این گزارش، عدم هماهنگی بین تیم‌های توسعه دهنده مدل‌های هوش مصنوعی و متصدیان امنیت سایبری است. NIST معتقد است که در صورت بروز نقصی در یک سامانه مبتنی بر هوش مصنوعی، مانند خطای در تشخیص هویت یا نشتی داده‌های حساس، بسیاری از سازمانها ناگزیرند از پروتکل‌های سنتی که برای نرم‌افزارهای خبره (Deterministic) طراحی شده‌اند استفاده کنند. این عدم انطباق منجر به کندی جبهه و افزایش آسیب‌پذیری سازمانها می‌شود، جایی که ماهیت غیرقابل پیش‌بینی برخی خروجی‌های هوش مصنوعی، کار تشخیص علت‌و‌علت ریشه‌ای حمله را پیچیده‌تر می‌کند.
چالش‌های فنی امنیتی مدل‌های زبانی
در بخش دیگری از سند، NIST به خطرات ناشی از درون‌زنی آسیب (Prompt Injection) و سوءاستفاده از محدودیت‌های دانش مدل‌ها اشاره کرده است. این مرکز فنی بر لزوم استانداردسازی روش‌های تست نفوذ در لایه‌های مختلف معماری هوش مصنوعی تأکید دارد. از دیدگاه تحلیلگران، اگرچه شرکت‌های فناوری بزرگ اقداماتی برای ایمن‌سازی خروجی مدل‌ها انجام داده‌اند، اما سطوح پایین‌تر، یعنی نحوه اتصال این مدل‌ها به پایگاه‌داده‌ها و ابزارهای جانبی، همچنان دارای نقاط کور امنیتی قابل توجهی هستند که نیازمند تدوین پروتکل‌های سخت‌گیرانه‌تر است.
- لزوم جداسازی منطقی منطق‌های تصمیم‌گیری هوش مصنوعی از دیتابیس‌های مرکزی
- ضرورت تدوین متدولوژی‌های مستقل برای معیابی (Audit) رفتار مدل‌ها
- اهمیت آموزش مجدد کارشناسان امنیت سایبری در خصوص طبیعت زیر ساخت‌های یادگیری ماشین
- تأکید بر شفاف‌سازی سطح خطاها و اعتمادپذیری خروجی‌ها برای تصمیم‌گیران انسانی
راهکارهای پیشنهادی برای آینده
در همایش‌های اخیر، مسئولان NIST بر این باورند که رویکرد «امنیت از ابتدا» (Security by Design) در پروژه‌های هوش مصنوعی نه یک انتخاب، بلکه الزامی است. آن‌ها پیشنهاد داده‌اند که ارزیابی‌های امنیتی نباید صرفاً پس از استقرار سیستم‌ها انجام شود، بلکه باید در طول چرخه عمر توسعه الگوریتم‌ها و داده‌سازی حضور پویا داشته باشند. این تغییر پارادایم می‌تواند کمک کند تا هم مسئولین حقوقی و هم مهندسان سخت‌افزار، مرزهای توانایی و محدودیت‌های هوش مصنوعی را با دقت بیشتری در برنامهریزی‌های خود لحاظ کنند.
پرسش‌های پرتکرار
NIST در گزارش جدید خود چه نکته‌ای را به عنوان خطر اصلی 꼽یده است؟
خطر اصلی که NIST به آن اشاره کرده، نبود پروتکل‌های استاندارد و هماهنگ برای پاسخ سریع به حوادث امنیتی که مستقیماً از بخش‌های هوش مصنوعی یک سازمان سرچشمه می‌گیرند.
آیا این گزارش فقط جنبه نظری دارد یا توصیه‌های عملی هم ارائه شده است؟
بله، گزارش حاوی توصیه‌هایی عملیاتی برای تفکیک لایه‌های داده، آموزش مجدد کارشناسان امنیت و استفاده از متدولوژی‌های جدید در تست‌های نفوذ است.
