هوش مصنوعی از یک دستیار متنی ساده به سامانه‌ای عامل و چندمرحله‌ای تبدیل شده است که می‌تواند استدلال کند، ابزارهای خارجی را فرابخواند، حافظه را بازیابی و حتی کد اجرا کند. این تحول، سطح تهدیدها را نیز پیچیده‌تر کرده است؛ از گفت‌وگوهای چندمرحله‌ای و فرار از محدودیت‌ها تا تزریق فرمان، دستکاری حافظه و سوءاستفاده از ابزارها. در این شرایط، وجود یک نگهبان هوشمند برای سامانه‌های مدرن ضروری به نظر می‌رسد. مدل جدید آپرایل‌گارد (AprielGuard) که توسط تیم هوش مصنوعی ServiceNow روی پلتفرم Hugging Face منتشر شده، دقیقاً برای همین منظور طراحی شده است.
چرا به مدل نگهبان نیاز داریم؟
مدل‌های زبانی بزرگ امروزی دیگر در یک محیط بسته عمل نمی‌کنند. آن‌ها به اینترنت، پایگاه‌داده، APIهای خارجی و ابزارهای اجرایی متصل هستند. همین اتصال‌ها، سطح حمله را به شدت گسترش می‌دهد. حملاتی مانند جیلبریک گفت‌وگویی، تزریق فرمان، ربودن حافظه و دستکاری ابزار می‌توانند باعث شوند سامانه‌های عامل رفتاری خلاف خواست کاربر یا سیاست‌های ایمنی داشته باشند. روش‌های سنتی فیلترینگ معمولاً در برابر این تهدیدهای چندلایه ناتوان‌اند.
آپرایل‌گارد چیست؟
آپرایل‌گارد یک مدل زبان کوچک اما قدرتمند با ۸ میلیارد پارامتر است که به‌طور تخصصی برای تشخیص و مقابله با تهدیدهای امنیتی در سامانه‌های مدرن آموزش دیده است. این مدل در دو حالت ارائه می‌شود:
- حالت استدلالی (Reasoning) برای ارائه توضیح قابل‌فهم درباره طبقه‌بندی خطر
- حالت غیراستدلالی (Non-reasoning) برای پاسخ‌گویی با تأخیر کم در خطوط تولید
این دوگانگی به سازمان‌ها اجازه می‌دهد بسته به نیاز خود، بین شفافیت و سرعت انتخاب کنند.
دسته‌بندی تهدیدها و آموزش مدل
در تحقیق ServiceNow، مجموعه‌ای جامع از تهدیدها در دو محور اصلی معرفی شده است: ایمنی محتوا و حمله‌های خصمانه. محور ایمنی شامل موضوعاتی مانند محتوای خشونت‌آمیز، نفرت‌پراکنی و محتوای غیراخلاقی است. محور خصمانه نیز به جیلبریک، تزریق فرمان، دستکاری حافظه و حملات زنجیره‌ای اشاره دارد. برای آموزش مدل، داده‌های آموزشی با دقت بالا و بر اساس همین دسته‌بندی ساخته شده و معماری مدل نیز بهینه‌سازی شده است تا هم صحت بالا داشته باشد و هم بتواند ورودی‌های طولانی (تا ۳۲ هزار توکن) را پردازش کند.
ارزیابی‌ها و نتایج
نتایج آزمایش‌ها نشان می‌دهد آپرایل‌گارد در تشخیص حملات خصمانه و موارد نقض ایمنی، عملکرد بهتری نسبت به مدل‌های قبلی دارد. این ارزیابی‌ها روی معیارهای ایمنی عمومی، تشخیص حملات، گردش‌کارهای عامل (Agentic Workflows)، متون طولانی و داده‌های چندزبانه انجام شده است. نکته قابل توجه، پایداری مدل در پردازش متن‌های طولانی و دقت قابل قبول در زبان‌های مختلف است.
جمع‌بندی و چشم‌انداز
آپرایل‌گارد گامی مهم در جهت ایمن‌سازی سامانه‌های عامل هوش مصنوعی محسوب می‌شود. با انتشار رایگان این مدل روی Hugging Face، توسعه‌دهندگان می‌توانند آن را در خط تولید خود به کار بگیرند و امنیت سامانه‌های خود را در برابر تهدیدهای نوظهور تقویت کنند. البته مانند هر مدل دیگری، این راه‌حل نیز محدودیت‌هایی دارد؛ اما نقطه شروعی قوی برای پژوهش‌ها و کاربردهای آینده است.
پرسش‌های پرتکرار
آپرایل‌گارد چه تفاوتی با مدل‌های فیلترینگ محتوایی معمولی دارد؟
آپرایل‌گارد علاوه بر تشخیص محتوای نامناسب، روی تهدیدهای سامانه‌های عامل مدرن مثل تزریق فرمان، جیلبریک چندمرحله‌ای، ربودن حافظه و دستکاری ابزار تمرکز دارد. همچنین در دو حالت استدلالی و غیراستدلالی عرضه می‌شود تا هم تفسیرپذیری فراهم شود و هم سرعت پردازش در محیط‌های تولیدی حفظ شود.
آیا آپرایل‌گارد به زبان فارسی هم کار می‌کند؟
بنا به ارزیابی‌های چندزبانه منتشرشده، این مدل روی زبان‌های مختلف عملکرد خوبی دارد؛ با این حال اطلاعات دقیق درباره پشتیبانی از زبان فارسی در مستندات رسمی ذکر نشده است. برای کاربرد عملی، بهتر است ابتدا روی داده‌های فارسی خودتان مدل را آزمایش کنید.
