نتایج آزمایش Mythos 5 در پروژه‌های واقعی گیت‌هاب

شرکت Anthropic با انتشار نسخهٔ 5 مدل زبانی Mythos، اقدام به اجرای آزمایشی در یک مخزن بازموجود گیت‌هاب کرد. در این آزمایش، مدل به صورت مستقیم با کدهای واقعی تعامل داشت و توانست بخشی از آن را به طور خودکار کامل کند، بدون اینکه هیچگونه امکان دقت و بازخورد انسان در مسیر وارد باشد. نتایج نشان داد که مدل میان‌عرضی خطراتی داشت—از جمله اشتباه در تشخیص ساختار کد، استفاده از متغیرهای حساس یا حتی ارائه‌ی خروجی‌های نامناسب به کاربران نهایی.

سیاست‌های ایمنی در مدل‌های LLM

پیش از انتشار متوجه شدید، بسیاری از متخصصین بر اهمیت پرهیز از تست‌های بدون لایهٔ نهایی امنیتی باور داشتند. Anthropic چندین مکانیسم تأخیر امنیتی را در نسخهٔ قبلی خود جایگزین کرده بود، اما نسخهٔ جدید به نظر می‌رسید این طراحی‌ها نادیده گرفته شده‌اند. این موضوع باعث شد برگهٔ گزارش‌های فنی شرکت، بندهای “در صورت وجود خطر، خروج به صورت آفلاین” را به شدت زیر سوال برد.

پیشنهاداتی برای مقابله با خطرات آینده

برای جلوگیری از چنین حوادثی در آینده، متخصصان به سه خط راهکار اصلی اشاره کردند:

  • تعین لایهٔ کنترل‌های انسانی مشخص در حین تست مدل‌ها، حتی در محیط‌های واقع‌گرایانه.
  • ایجاد گزارش‌های شفاف و شفاف‌سازی سطح دسترسی به کدها قبل از استفاده از مدل‌های LLM.
  • کاربرد فرایندهای Auditing مستقل برای اطمینان از عدم عرضه مدل در حالت بدون ریسک.

بازتاب در جامعهٔ توسعه‌دهندگان

آنلاین، گزارش‌های هوشمند در رشتهٔ توسعه کد، واکنش‌های متفاوتی نشان دادند. برخی از توسعه‌دهندگان این آزمایش را فرصت یا همان آزمایش مهمی در مسیر تحولات مدل‌های زبانی می‌دانند؛ در همین حال گروه‌های دیگر خطر نا‌شفاف و احتمال سوء استفاده را به‌عنوان هشدار مهم مطرح کردند.

پرسش‌های پرتکرار

Mythos 5 چیست و چه کاربردی دارد؟

Mythos 5 یک مدل زبانی بزرگ تولید‌شده توسط Anthropic است که به‌صورت خاص برای ایجاد متن، ترجمه، و حتی تولید کد منسوب شده است. این نسخه، تلاش کرد تا توانایی‌های پیش‌رفته‌ای را در تحلیل ساختارهای پیچیدهٔ کدهای نرم‌افزار ارائه دهد.

از چه نوع خطراتی در این آزمایش هشدار داده شد؟

خطرات اصلی شامل تولید کدهای ضعیف در عملکرد، فقدان کنترل انسانی بر خروجی‌ها، و احتمال ایجاد خروجی‌های نامناسب یا مخرب در مخازن گیت‌هاب واقعی بود. این موضوع باعث شد نگرانی‌های امنیتی و اخلاقی در جامعهٔ توسعه‌دهندگان افزایش یابد.