ارزیابی مشترک مدل‌های هوش مصنوعی
OpenAI و Anthropic در سال ۲۰۲۴ یک ارزیابی مشترک بر روی مدل‌های هوش مصنوعی خود را آغاز کردند. هدف این همکاری، بررسی دقیق مشکلاتی نظیر کم‌سازگاری با دستورالعمل‌ها، رخدادهای ایوازش (hallucinations) و نفوذ احتمالی (jailbreaking) بود.
مراحل و معیارهای ارزیابی
این ارزیابی شامل سه گام اصلی است: ۱. طراحی سناریوهای تست معکوس؛ ۲. اجرای آزمایش‌های طولانی؛ و ۳. تحلیل داده‌های حاصل. معیارهای کلیدی شامل نرخ اشتباه، سازگاری با دستورالعمل‌ها و شفافیت مدل بوده است.
- شیکاری در پاسخ‌های مدل (hallucinations)
- عدم رعایت دستورات درست (misalignment)
- دسترسی به محتوای تیزکانی از طریق jailbreaking
پیامدهای همکاری برای آینده هوش مصنوعی
نتایج حاصله نشان داد که ادغام نتایج دو شرکت می‌تواند تهدیدات مشترک را کاهش دهد و راهکارهای دفاعی موثرتری ارائه دهد. این همکاری نشان می‌دهد که همکاری بین‌سازمانی در زمینهٔ امنیت مدل‌های هوش مصنوعی، مسیر جدیدی برای تضمین ایمنی و قابلیت اعتماد می‌سازد.
پرسش‌های پرتکرار
این ارزیابی مشترک به چه نتایجی منجر شد؟
ارزیابی مشترک باعث شناسایی نقاط ضعف و قوت در هر دو مدل شد، که بهبودهای اساسی در کاهش ایوازش، ارتقاء سازگاری با دستورات و جلوگیری از نفوذ ناشی از jailbreaking را امکان‌پذیر می‌سازد.
آیا این همکاری فقط برای دو شرکت است یا برای کل صنعت باز می‌شود؟
اگرچه آغازیهٔ این پروژه مخصوص OpenAI و Anthropic بود، اما هدف بلندمدت انتشار یافته‌های آن برای صنایعی مشابه و اطمینان از استانداردهای بالاتر امنیت در هوش مصنوعی است.
