در سال‌های اخیر، استفاده از هوش مصنوعی در فرآیندهای سازمانی به شکل چشمگیری افزایش یافته است. اما این گسترش با چالشی جدی همراه است: اعطای خودمختاری بیش از حد به سامانه‌های هوش مصنوعی می‌تواند تهدیدهای امنیتی جدیدی را برای سازمان‌ها به همراه داشته باشد. گزارش‌های اخیر از جمله گزارش SC Media نشان می‌دهد که بسیاری از کسب‌وکارها بدون داشتن چارچوب مشخص، به الگوریتم‌ها اجازه تصمیم‌گیری می‌دهند.
چرا خودمختاری بیش از حد هوش مصنوعی خطرآفرین است؟
هوش مصنوعی هر چه مستقل‌تر عمل کند، نیازمند سطح دسترسی بیشتری به داده‌ها و سیستم‌های حیاتی سازمان است. این استقلال می‌تواند به نقض مرزهای امنیتی منجر شود، به‌ویژه اگر مدل‌های زبانی بزرگ در معرض حملاتی مانند تزریق فرمان یا مسموم‌سازی داده‌ها قرار گیرند. در چنین شرایطی، تصمیم‌های خودکار نه‌تنها قابل‌پیش‌بینی نیستند، بلکه احتمال خسارت‌های جبران‌ناپذیر را نیز افزایش می‌دهند.
از سوی دیگر، نبود نظارت انسانی بر خروجی سیستم‌ها، امکان شناسایی رفتارهای غیرعادی را از بین می‌برد. آسیب‌پذیری الگوریتم‌ها در برابر تغییرات جزئی در ورودی، آن‌ها را به قربانیان مناسبی برای حملات پیچیده سایبری تبدیل می‌کند. در نتیجه، سازمان‌ها باید پیش از استقرار سامانه‌های خودمختار، ارزیابی دقیقی از ریسک‌های موجود انجام دهند.
مهم‌ترین تهدیدهای امنیتی ناشی از خودمختاری هوش مصنوعی
- تصمیم‌گیری خارج از چارچوب‌های نظارتی و بدون دخالت انسان
- افزایش سطح حمله برای مهاجمان از طریق تزریق دستورها و اعلان‌های مخرب
- دسترسی گسترده به داده‌های حساس که نقض حریم خصوصی را تسهیل می‌کند
- احتمال بروز خطاهای زنجیره‌ای که در سیستم‌های سنتی کمتر دیده می‌شود
- عدم شفافیت در فرآیند تصمیم‌گیری و دشواری ممیزی عملکرد الگوریتم
راهکارهای کاهش ریسک امنیتی هوش مصنوعی خودمختار
برای مدیریت این تهدیدها، سازمان‌ها باید رویکردی متعادل را در پیش گیرند. به‌کارگیری مدل Human-in-the-Loop یعنی حضور انسان در فرآیندهای تصمیم‌گیری حساس، عاملی کلیدی در کاهش خودمختاری ناخواسته است. همچنین، اعمال سطوح دسترسی حداقلی برای هر سامانه هوش مصنوعی، موجب می‌شود ضریب نفوذ مهاجمان در صورت موفقیت، محدود بماند.
پایش مداوم رفتار الگوریتم‌ها، ثبت گزارش از عملکرد و انجام آزمون‌های امنیتی دوره‌ای، از دیگر اقداماتی است که می‌تواند تهدیدهای ناشی از خودمختاری را به سطح قابل‌قبولی کاهش دهد. تدوین خط‌مشی روشن برای استفاده از هوش مصنوعی و تربیت نیروی انسانی متخصص نیز در این زمینه اثربخش است.
در نهایت، نوآوری در هوش مصنوعی نباید امنیت سازمانی را قربانی کند. با ایجاد توازن میان اتوماسیون و نظارت، می‌توان ضمن بهره‌مندی از ظرفیت‌های این فناوری، بستر امنی برای فعالیت‌های سازمانی فراهم کرد.
پرسش‌های پرتکرار
چرا خودمختاری بیش از حد هوش مصنوعی خطرناک است؟
چون باعث می‌شود سیستم‌ها بدون نظارت انسانی تصمیم‌های حساس بگیرند و در برابر حملات سایبری مانند تزریق دستور آسیب‌پذیر شوند.
چگونه می‌توان ریسک امنیتی هوش مصنوعی را کاهش داد؟
با اعمال نظارت انسانی (Human-in-the-loop)، محدود کردن دسترسی‌ها، پایش مداوم و تعیین مرزهای شفاف برای عملکرد الگوریتم‌ها.
