هوش مصنوعی مولد به مرحله‌ای رسیده که مدل‌های زبانی پیشرفته می‌توانند استدلال‌های پیچیده‌ای انجام دهند؛ اما همین قابلیت، آنها را به هدفی جذاب برای مهاجمان تبدیل کرده است. جدیدترین گزارش منتشرشده از CSO Online نشان می‌دهد که وصله امنیتی OpenAI برای مقابله با سرقت «ردپای استدلال» (Reasoning Traces) به‌سرعت دور زده شده است.
ردپای استدلال چیست و چرا مهم است؟
در مدل‌های زبانی بزرگ، ردپای استدلال به مجموعه‌ای از گام‌های میانی گفته می‌شود که مدل برای رسیدن به پاسخ نهایی طی می‌کند. این اطلاعات اغلب حاوی منطق تصمیم‌گیری، داده‌های پنهان و حتی جزئیات فنی مدل است. استخراج این ردپاها می‌تواند به مهاجمان امکان دهد رفتار مدل را شبیه‌سازی کنند، دانش محرمانه را بیرون بکشند یا حملات هدفمندتری طراحی کنند.
وصله اوت OpenAI چگونه دور زده شد؟
OpenAI در آگوست (اوت) سال جاری وصله‌ای منتشر کرد تا مسیرهای نفوذ به زنجیره فکر مدل‌های خود را ببندد. اما محققان امنیتی به‌سرعت دریافتند که با تغییر شیوه پرسش‌نویسی، قالب‌بندی خاص ورودی یا استفاده از تکنیک‌های رمزنگاری سبک، می‌توان همان خروجی‌های حساس را دوباره استخراج کرد. این نشان می‌دهد که وصله‌های سطحی بدون بازطراحی اساسی معماری مدل، چندان مؤثر نیستند.
بر اساس این گزارش، روش دور زدن وصله به‌گونه‌ای است که مدل به‌جای نمایش مستقیم زنجیره استدلال، آن را در قالب کد یا متن رمزگونه بازتولید می‌کند. این ترفند از فیلترهای امنیتی عبور می‌کند و اطلاعات کامل در اختیار مهاجم قرار می‌گیرد.
پیامدهای امنیتی و راهکارهای پیشنهادی
سرقت ردپای استدلال تنها به نقض حریم خصوصی محدود نمی‌شود؛ بلکه می‌تواند به استخراج دانش اختصاصی مدل، دور زدن کنترل‌های ایمنی و حتی سوءاستفاده از قابلیت‌های مدل منجر شود. سازمان‌هایی که از APIهای هوش مصنوعی استفاده می‌کنند باید اقدامات زیر را در نظر بگیرند:
- پایش مستمر ترافیک ورودی برای شناسایی الگوهای حمله و پرسش‌های غیرعادی
- استفاده از فیلترهای خروجی در سطح برنامه برای جلوگیری از بازتولید ردپاها
- اعمال محدودیت بر روی طول پاسخ‌های میانی و حذف خودکار جزئیات استدلال
- همکاری نزدیک با ارائه‌دهندگان مدل برای دریافت وصله‌های امنیتی به‌روز
- آموزش توسعه‌دهندگان در مورد حملات زنجیره فکر و روش‌های مقابله با آن
جمع‌بندی
دور زدن سریع وصله OpenAI نشان‌دهنده رقابت بی‌پایان بین مهاجمان و متخصصان امنیت هوش مصنوعی است. تا زمانی که مدل‌های زبانی به‌صورت ذاتی شفافیت و امنیت را در طراحی خود لحاظ نکنند، وصله‌های موقتی راه‌حلی پایدار نخواهند بود. سازمان‌ها باید امنیت را به‌عنوان یک فرایند مستمر در نظر بگیرند و نه یک اقدام یک‌باره.
پرسش‌های پرتکرار
سرقت ردپای استدلال در هوش مصنوعی چیست؟
ردپای استدلال به گام‌های میانی و منطق داخلی مدل زبانی برای رسیدن به پاسخ گفته می‌شود که می‌تواند شامل اطلاعات حساس و اختصاصی باشد. سرقت آن یعنی مهاجم این جزئیات را از طریق ترفندهای ورودی استخراج کند.
چگونه وصله امنیتی OpenAI دور زده شد؟
مهاجمان با تغییر قالب ورودی و استفاده از تکنیک‌های رمزگذاری یا کدنویسی، مدل را وادار می‌کنند تا زنجیره فکر را در قالب غیرمستقیم و به‌صورت کامل بازتولید کند و از فیلترهای وضع‌شده عبور دهد.
