ساتیا نادلا، مدیرعامل مایکروسافت، در پستی طولانی در شبکه اجتماعی ایکس (توییتر سابق) دیدگاه خود را درباره خطرات مدل‌های بسیار پیشرفته هوش مصنوعی تشریح کرد. او با لحنی هشداردهنده نوشت که دوران پذیرش بی‌چون‌وچرای خروجی مدل‌ها به پایان رسیده است.
پایان دوران جعبه‌های سیاه
نادلا معتقد است دیگر نمی‌توان هوش مصنوعی را به‌عنوان مجموعه‌ای از «جعبه‌های سیاه تو در تو» در نظر گرفت که توصیه‌ها و اقداماتشان را صرفاً می‌پذیریم. به باور او، شفافیت نه یک گزینه، بلکه ضرورتی اجتناب‌ناپذیر برای اعتماد به سیستم‌های هوش مصنوعی است.
اصل «در معرض خطر بودن» به‌عنوان مبنا
مهم‌ترین نکته‌ای که مدیرعامل مایکروسافت بر آن تأکید کرده، این است که باید فرض کنیم همه مدل‌های هوش مصنوعی در معرض خطر (compromised) هستند. این رویکرد، که شبیه به اصل «نقض فرض» در امنیت سایبری است، به معنای طراحی و استقرار مدل‌ها بر پایه بدترین سناریوست.
این دیدگاه می‌تواند پیامدهای عملی گسترده‌ای برای توسعه‌دهندگان و کسب‌وکارها داشته باشد؛ از جمله در حوزه ممیزی مداوم، آزمون‌های امنیتی، و ایجاد مکانیزم‌های نظارت انسانی بر خروجی‌ها.
- لزوم شفافیت در فرآیند آموزش و تصمیم‌گیری مدل‌ها
- طراحی سیستم‌های کنترلی و ممیزی مستمر به جای اعتماد کورکورانه
- توسعه استانداردهای ایمنی برای مقابله با خروجی‌های مخرب
- افزایش نظارت انسانی در کاربردهای حساس هوش مصنوعی
زمینه بحث: کند شدن روند ابرهوش مصنوعی
این اظهارنظر در حالی مطرح می‌شود که بحث‌های گسترده‌ای درباره «کند شدن روند ابرهوش مصنوعی» (AI Superintelligence Slowdown) در جریان است. بسیاری از کارشناسان و مدیران فناوری نسبت به رشد شتابان و بدون مهار مدل‌های پیشرفته هشدار داده‌اند. نادلا با این پست تلاش می‌کند تا رویکردی واقع‌بینانه و امنیت‌محور را جایگزین خوش‌بینی صرف کند.
در نهایت، پیام نادلا را می‌توان یک دعوت به بازنگری بنیادین در نحوه اعتماد به هوش مصنوعی دانست؛ بازنگری‌ای که در آن، امنیت بر سرعت و شفافیت بر ابهام اولویت دارد.
پرسش‌های پرتکرار
نظر ساتیا نادلا درباره مدل‌های هوش مصنوعی چیست؟
او می‌گوید باید فرض کنیم همه مدل‌های هوش مصنوعی در معرض خطر هستند و دیگر نمی‌توان آن‌ها را به‌عنوان جعبه‌های سیاه پذیرفت.
چرا نادلا می‌گوید دوران جعبه‌های سیاه به پایان رسیده است؟
زیرا برای اعتماد به مدل‌های پیشرفته، شفافیت، نظارت کافی و مدیریت ریسک ضروری است و نمی‌توان بدون اطلاع از عملکرد داخلی، به آن‌ها اتکا کرد.
