شرکت OpenAI در پژوهشی تازه، راهکاری برای مقابله با یکی از چالش‌های جدی مدل‌های زبانی بزرگ ارائه کرده است. مدل‌های زبانی امروزی به دلیل آموزش گسترده روی داده‌های متنوع، در برابر حملاتی مانند تزریق سریع (Prompt Injection) و جیلبریک (Jailbreak) آسیب‌پذیرند؛ حملاتی که در آن‌ها مهاجم می‌تواند با جاسازی دستورهای مخرب در ورودی، رفتار اصلی مدل را تغییر دهد.
مشکل تزریق سریع و شکستن امنیت مدل‌های زبانی
در این حملات، مهاجم سعی می‌کند با استفاده از متن‌های آلوده یا ورودی‌های طراحی‌شده، مدل را فریب دهد تا دستورهای اصلی توسعه‌دهنده را نادیده بگیرد و دستورهای مخرب را اجرا کند. این مسئله به‌ویژه در چت‌بات‌ها و دستیارهای هوش مصنوعی که با لاگ‌ها یا ورودی‌های کاربر سروکار دارند، خطرناک است. روش‌های کنونی مانند فیلتر خروجی یا پالایش ورودی، همیشه مؤثر نیستند و مدل‌های بزرگ همچنان مستعد نادیده گرفتن دستورهای سیستمی هستند.
سلسله‌مراتب دستورالعمل چیست؟
رویکرد ارائه‌شده توسط OpenAI مبتنی بر آموزش مدل برای درک سلسله‌مراتب اختیارات است. در این چارچوب، دستورهای موجود در دو یا چند سطح دسته‌بندی می‌شوند؛ برای نمونه، دستورهای سیستمی و توسعه‌دهنده در سطح بالاتر از دستورهای کاربر قرار می‌گیرند. به مدل یاد داده می‌شود که هنگام تعارض بین دستورها، همیشه دستور سطح بالاتر را مقدم بدارد. بدین ترتیب حتی اگر کاربر تلاش کند با یک دستور متنی، مدل را از تصمیم اصلی منحرف کند، مدل بافتِ دستورهای سطح بالاتر را نادیده نمی‌گیرد.
مزیت‌های رویکرد سلسله‌مراتبی در ایمنی هوش مصنوعی
- کاهش چشمگیر اثربخشی تزریق سریع و جیلبریک در مدل‌های آموزش‌دیده
- ایجاد شفافیت بیشتر در رفتار مدل هنگام مواجهه با دستورهای متعارض
- سازگاری با کاربردهای عملی که در آن‌ها به کنترل سیستمی قوی نیاز است
- قابلیت اجرا بر روی مدل‌های زبانی موجود با روش‌های بهینه‌سازی کم‌هزینه
این پژوهش گامی مهم در جهت ایمن‌سازی مدل‌های زبانی در برابر حملات سطح ورودی است. OpenAI قصد دارد این سلسله‌مراتب را در مدل‌های آینده خود اعمال کند تا دستیارهای مبتنی بر هوش مصنوعی بتوانند با اطمینان بیشتری در محیط‌های پرریسک و چندکاربره فعالیت کنند. با توجه به رشد روزافزون استفاده از مدل‌های زبانی، توجه به راهکارهایی مانند سلسله‌مراتب دستورالعمل، برای جلوگیری از سوءاستفاده‌های امنیتی ضروری است.
پرسش‌های پرتکرار
سلسله‌مراتب دستورالعمل در مدل‌های زبانی چگونه کار می‌کند؟
در این روش، دستورها به سطوح مختلف اختیار تقسیم می‌شوند؛ دستورهای سیستمی و توسعه‌دهنده در سطح بالاتر از دستورهای کاربر قرار دارند. مدل یاد می‌گیرد که هنگام تعارض، دستور سطح بالاتر را اولویت دهد و نادیده گرفتن آن خطای محسوب می‌شود.
این روش چه تفاوتی با فیلتر کردن ورودی دارد؟
به‌جای تلاش برای پاکسازی متن ورودی، مدل مستقیماً آموزش می‌بیند تا به سطوح مختلف دستور احترام بگذارد. این رویکرد باعث می‌شود حتی در صورت نفوذ یک دستور مخرب در ورودی، مدل به‌طور طبیعی از اجرای آن جلوگیری کند.
