ساتیا نادلا، مدیرعامل مایکروسافت، در تازه‌ترین یادداشت خود در شبکه اجتماعی ایکس با لحنی هشداردهنده اعلام کرد که صنعت هوش مصنوعی باید ذهنیت خود را نسبت به امنیت مدل‌ها تغییر دهد. به گفته او، دیگر زمان آن رسیده که تمام مدل‌های هوش مصنوعی را نفوذپذیر فرض کنیم؛ نه به‌عنوان یک سناریوی بدبینانه، بلکه به‌عنوان یک اصل طراحی.
چرا مدیرعامل مایکروسافت نفوذپذیری مدل‌ها را بدیهی می‌داند؟
نادلا تأکید کرده است که مدل‌های پیشرفته هوش مصنوعی را نمی‌توان مانند جعبه‌های سیاه غیرقابل نفوذ در نظر گرفت. او می‌گوید مهندسان باید از همان گام نخست فرض کنند این سامانه‌ها هک‌شده‌اند یا احتمال نفوذ به آن‌ها وجود دارد. این نگرش، برخلاف رویکرد رایج که امنیت را پس از توسعه اضافه می‌کند، باعث می‌شود معماری سامانه‌ها به‌گونه‌ای طراحی شود که بتوان رفتار آن‌ها را مهار و رصد کرد.
ترمز اضطراری؛ راهکاری برای جلوگیری از بحران‌های آتی
یکی از پیشنهادهای کلیدی نادلا، تعبیه «ترمز اضطراری» در مدل‌های هوش مصنوعی است. منظور از ترمز اضطراری سازوکاری است که در شرایط بحرانی، اجرای مدل را متوقف یا محدود می‌کند. این اقدام به انسان این امکان را می‌دهد که پیش از وقوع خسارت‌های جبران‌ناپذیر، کنترل را در دست بگیرد.
مهار سامانه‌های پیشرفته؛ خواسته اصلی مدیر مایکروسافت
به اعتقاد ساتیا نادلا، مهار سامانه‌های پیشرفته هوش مصنوعی مستلزم رعایت چند اصل اساسی است:
- در نظر گرفتن نفوذپذیری به‌عنوان پیش‌فرض طراحی
- تعبیه ترمز اضطراری برای توقف کنترل‌شده مدل‌ها
- نظارت مستمر بر رفتار سامانه‌ها و ثبت شواهد خوانا
- ایجاد امکان دستکاری‌ناپذیری در لاگ‌ها برای بازرسی‌پذیری
- تغییر نگرش امنیتی از واکنشی به پیش‌گیرانه
این اظهارات در حالی مطرح می‌شود که بسیاری از متخصصان حوزه هوش مصنوعی نسبت به خطرات مدل‌های فوق‌پیشرفته هشدار داده‌اند. مایکروسافت به‌عنوان یکی از بزرگ‌ترین سرمایه‌گذاران این حوزه، با این یادداشت نشان داد که به دنبال تبدیل شدن به بازیگر اصلی در تعیین استانداردهای ایمنی است. باید دید این رویکرد تازه تا چه اندازه در طراحی نسل آینده سامانه‌های هوش مصنوعی اعمال خواهد شد.
پرسش‌های پرتکرار
چرا ساتیا نادلا توصیه می‌کند همه مدل‌های هوش مصنوعی را نفوذپذیر فرض کنیم؟
زیرا این نگرش باعث می‌شود معماری سامانه‌ها از ابتدا با فرض وجود نقاط ضعف طراحی شود و مهندسان به‌جای اعتماد کورکورانه، سازوکارهای نظارت، مهار و شواهد غیرقابل‌دستکاری را در نظر بگیرند.
ترمز اضطراری هوش مصنوعی چیست؟
ترمز اضطراری یک سازوکار کنترلی است که امکان متوقف کردن یا مهار رفتار یک مدل پیشرفته را در شرایط بحرانی فراهم می‌کند و به مدیران سامانه‌ها اجازه می‌دهد قبل از وقوع آسیب جدی، فرایند را متوقف کنند.
