با گسترش ابزارهای هوش مصنوعی، «عوامل پژوهشی عمیق» (Deep Research Agents) به کاربران کمک میکنند تا اطلاعات پیچیده را از منابع گوناگون جمع‌آوری کنند. اما این عوامل اغلب به اسناد خصوصی کاربر نیز دسترسی دارند و همین موضوع یک خطر جدی ایجاد می‌کند: آیا ممکن است این عوامل هنگام جست‌وجو در وب، اطلاعات محرمانه را فاش کنند؟ پاسخ تازه‌ترین پژوهش منتشرشده در وبلاگ Hugging Face توسط محققان ServiceNow نگران‌کننده است.
عوامل پژوهشی عمیق و خطر نشت اطلاعات
عوامل پژوهشی عمیق برای پاسخ به پرسش‌های چندمرحله‌ای، داده‌های محلی خصوصی را با ابزارهای بیرونی مثل جستجوی وب ترکیب میکنند. این ترکیب اگرچه دقت پاسخ‌ها را بالا می‌برد، اما ممکن است به‌سادگی باعث شود اطلاعات خصوصی به بیرون درز کند. مدل زبانی هنگام جست‌وجو عباراتی را به موتور جستجو ارسال می‌کند که ممکن است حاوی بخش‌هایی از اسناد محرمانه باشد.
محققان این پدیده را «نشت موزاییکی» می‌نامند؛ چرا که اطلاعات خصوصی مانند تکه‌های پازل در میان پرسش‌های عمومی قرار می‌گیرند و به‌تدریج تصویر کاملی از داده‌های حساس را فاش میکنند.
MosaicLeaks؛ آزمون جدید برای سنجش محرمانگی
در این پژوهش، مجموعه‌داده و معیار جدیدی با نام MosaicLeaks معرفی شده است. این آزمون شامل پرسش‌های چندمرحله‌ای است که به‌طور عمدی اطلاعات عمومی و خصوصی را در هم می‌آمیزند. از مدل‌های مختلف خواسته می‌شود در حالی که به اسناد خصوصی دسترسی دارند، به این پرسش‌ها پاسخ دهند و هر پاسخی که نیاز به جستجوی بیرونی دارد باید به دقت ارزیابی شود.
نتایج نشان داد که مدل‌های آزمایش‌شده در بخش قابل‌توجهی از موارد، اطلاعات خصوصی را از طریق کوئری‌های جستجو لو می‌دهند. نکته مهم‌تر این است که وقتی مدل‌ها صرفاً برای بهبود عملکرد در انجام وظیفه آموزش می‌بینند، میزان نشت اطلاعات نه‌تنها کاهش نمی‌یابد بلکه بدتر هم می‌شود.
راهکار پیشنهادی: آموزش تقویتی آگاه به حریم خصوصی
برای حل این مشکل، محققان روشی به نام «پژوهش عمیق آگاه به حریم خصوصی» یا PA-DR ارائه کرده‌اند. این روش مبتنی بر یادگیری تقویتی است و از «پاداش‌های موقعیتی» استفاده می‌کند تا مدل یاد بگیرد چه زمانی باید از به‌کارگیری اطلاعات خصوصی در پرس‌وجوهای جستجو خودداری کند. این آموزش باعث می‌شود مدل هم دقت خود را حفظ کند و هم حریم خصوصی را رعایت نماید.
یافته‌های کلیدی این روش در زیر آمده است:
- افزایش دقت موفقیت زنجیره کامل از ۴۸.۷٪ به ۵۸.۷٪
- کاهش نشت پاسخ/اطلاعات کامل از ۳۴.۰٪ به ۹.۹٪
- بهبود کارایی نمونه و حفظ کارایی مدل در کنار رعایت حریم خصوصی
- ارائه راهی نوین برای ترکیب یادگیری تقویتی با الزامات امنیتی
این پژوهش نشان میدهد که صرفاً افزایش قابلیت‌های زبانی یا عملکردی مدل‌ها کافی نیست و باید «شعور حریم خصوصی» نیز به‌عنوان یک هدف صریح در فرآیند آموزش لحاظ شود. روش PA-DR گامی مهم در این مسیر به شمار میرود و می‌تواند الگویی برای پژوهش‌های آینده در زمینه ایمنی و محرمانگی سیستم‌های هوش مصنوعی باشد.
پرسش‌های پرتکرار
MosaicLeaks چیست؟
MosaicLeaks یک معیار و مجموعه‌داده تازه برای ارزیابی عوامل پژوهشی عمیق است که در آن پرسش‌های چندمرحله‌ای، اطلاعات عمومی و خصوصی را ترکیب میکنند تا مشخص شود آیا مدل هنگام جستجوی اینترنتی اطلاعات حساس را لو میدهد یا نه.
روش PA-DR چگونه باعث کاهش نشت اطلاعات می‌شود؟
روش PA-DR از یادگیری تقویتی با پاداش‌های موقعیتی استفاده می‌کند. این پاداش‌ها به مدل می‌آموزند که در شرایط مختلف، استفاده از اطلاعات خصوصی در کوئری‌های جستجو را محدود کند؛ در نتیجه نشت اطلاعات به‌شدت کاهش می‌یابد و دقت پاسخ‌ها نیز بهبود می‌یابد.
