در دنیای رو به رشد خودمختاری دیجیتال، ایجنتهای هوش مصنوعی به‌عنوان دستیاران کلیدی سازمان‌ها عمل می‌کنند. با این حال، پژوهشگران امنیت سایبری اخیراً بازه آسیب‌پذیری بحرانی در این سیستم‌ها را کشف کرده‌اند که آنها را به‌سادگی در معرض تهدیدات سایبری قرار می‌دهد.
فیشینگ خودکار: ترس جدید برای هوش مصنوعی
برخلاف انسان‌ها که الگوهای مشکوک در ایمیل‌ها را می‌شناسند، ایجنتهای هوش مصنوعی توانایی تشخیص دستورهای مخرب پنهان‌شده در متن‌های بنظر عادی را ندارند. مهاجمان از تکنیک تزریق پرامپت (Prompt Injection) استفاده می‌کنند تا دستورات متنی مخربی را در ایمیل‌ها قایقوله کنند که برای چشم انسان تقریباً نامرئی است، اما موتورهای پردازش زبان طبیعی آنها را به‌عنوان دستورالعمل معتبر تفسیر و اجرا می‌کنند.
پنهان‌سازی کد و کورکورانه‌کار شدن هوش مصنوعی
شرکت Malwarebytes گزارش داده که هکرها و حتی بات‌های بدافزار کدهای خاص را می‌سازند تا سیستم‌های خودکار را فریب دهند. در این حمله، هوش مصنوعی به‌جای خوانش اطلاعات، دستورات ناخواسته مهاجم را اجرا می‌کند. این مشکل تنها یک نقص عملیاتی نیست، بلکه ریشه در معماری بنیادین مدل‌های زبانی دارد که مرز清晰的 تعریف نشده‌ای بین «اطلاعات» و «دستور» وجود دارد.
راه‌حل: بازسازی لایه پردازش داده‌ها
آپولو رینز، توسعه‌دهنده سرویس بررسی کد ShipItClean، تأکید می‌کند که مسیر اصلی حل این معما بهبود مهارت‌های ورودی انسان‌ها نیست. او معتقد است ناتوانی واقعی مدل‌ها در تمایزبین متنی که باید خوانده شود و دستوری که باید اجرا شود، نیازمند مداخله فنی است. بر این اساس، حذف محتوای پنهان و مرزبندی دقیق داده‌ها قبل از پردازش توسط مدل، اقدامی ضروری است که توسعه‌دهندگان باید در معماری این‌گونه سیستم‌ها لحاظ کنند.
- ایجاد فیلترهای پیش‌پردازش قوی برای شناسایی متون پنهان
پرسش‌های پرتکرار
تزریق پرامپت چیست؟
تزریق پرامپت یک حمله سایبری است که مهاجم دستورهای مخرب را در ورودی سیستم هوش مصنوعی پنهان می‌کند تا آن را وادار به انجام کارهای ناخواسته کند.
چرا ایجنتهای هوش مصنوعی در برابر فیشینگ ضعیف‌اند؟
زیرا مدل‌های زبانی تفاوت بنیادینی بین متنی که باید خوانده شود و دستوری که باید اجرا شود ندارند و محتوای پنهان را به‌عنوان دستور معتبر تفسیر می‌کنند.
