پلتفرم Hugging Face به همراه تیم Collinear AI، نسخه به‌روزشده‌ی وبینچ‌مارک ایمنی شبکه‌های عصبی به نام CWE-bench نسخه دوم را معرفی کرد. این پلتفرم جدید با هدف سنجش دقیق‌تر قابلیت‌های پیشرو در حوزه امنیت سایبری طراحی شده و دسترسی عمومی به ۱۰۰ وظیفه‌ی چالشی را برای توسعه‌دهندگان فراهم می‌کند تا عملکرد مدل‌های خود را در رفع خشن‌هایی امنیتی واقعی سنجش کنند.
طراحی وظایف مبتنی بر ریپازیتوری‌های واقعی
در این نسخه، هر معین‌آمیز با یک خروجی از یک ریپازیتوری متن‌باز واقعی مواجه می‌شود و دستور العملی کوتاه دریافت می‌کند تا خشنی امنیتی را شناسایی و برطرف کرده، بدون اینکه عملکرد موجود نرم‌افزار آسیب ببیند. این رویکرد باعث می‌شود نتایج بدست آمده بازتاب دقیق‌تری از کاربرد‌پذیری عملی هوش مصنوعی در محیط‌های توسعه‌ی واقعی باشند و نه صرفاً تمرین‌های مصنوعی.
شفافیت و قابلیت تکرار نتایج
یکی از ویژگی‌های کلیدی CWE-bench v2، ارزیابی کاملاً برنامه‌نویسی‌شده است که باعث می‌شود نتایج قطعی و قابل تکرار باشند. توسعه‌دهندگان چک‌های برنامه‌نویسی را با استفاده از پنل‌های داور مبتنی بر بزرگ مدل‌های لغوی تنظیم کرده‌اند تا تعادل بین سختی مسئله و انصاف ارزیابی حفظ شود. این شفافیت امکان مقایسه‌ی بی‌طرفانه‌ی مدل‌های مختلف را برایشان فراهم می‌آورد.
پشتیبانی از پیشرفت علمی و عمومی
تیم‌ها یک مجموعه مستثنی از وظایف را نیز نگه داشته‌اند تا پیشرفت مدل‌ها را در مواردی که تا به حال می‌بینده بودند، تحت نظر بگیرند. این رویکرد از فرارگیری از تاریخ‌های کلی پیشگیری می‌کند و اطمینان می‌دهد که ارزیابی‌ها همچنان معیارهای واقعی امنیت سایبری را می‌سنجند.
- دسترسی عمومی به ۱۰۰ وظیفه‌ی امنیتی چالشی
- استفاده از ریپازیتوری‌های متن‌باز واقعی برای سناریوهای تمرینی
- ارزیابی قطعی و برنامه‌نویسی‌شده برای تضمین انصاف
- به‌کارگیری پنل‌های داور بزرگ مدل‌های لغوی برای تنظیم سختی
انتشار این وبینچ‌مارک نشان‌دهنده‌ی تمایل جدی جامعه‌ی باز منابع هوش مصنوعی به ارتقای استانداردهای ایمنی و انطباق مدل‌های زبانی بزرگ با الزامات صنعتی است.
پرسش‌های پرتکرار
روزم CWE-bench v2 چگونه کار می‌کند؟
در این روش، مدل با یک خروجی از یک ریپازیتوری واقعی و یک دستور‌العمل کوتاه مواجه می‌شود و باید خشنی امنیتی را پیدا و برطرف کند بدون اینکه عملکرد نرم‌افزار را مخدوش کند. ارزیابی به‌صورت برنامه‌نویسی و قطعی انجام می‌گیرد.
آیا امکان تکرار نتایج در این وبینچ‌مارک وجود دارد؟
بله، از آنجا که نمره‌دهی کاملاً برنامه‌نویسی‌شده است، نتایج قطعی هستند و همه می‌توانند آن‌ها را بدون هزینه‌ی اضافی و با شرایط یکسان بازتولید کنند.
