مقدمه
OpenAI در آخرین اعلامیه خود به‌اشتراک گذاشت که دیگر به ارزیابی مدل‌های هوش مصنوعی با استفاده از مجموعه‌ی SWE‑Bench Verified نپردازد. این تصمیم برگرفته از یک تحلیل جامع درباره‌ی محدودیت‌های این ابزار بود.
۱. مشکلات ارزیابی با SWE‑Bench Verified
SWE‑Bench Verified که پیش‌تر برای سنجش کیفیت کد پوشش داده‌شده توسط مدل‌ها استفاده می‌شد، در طی سال‌های اخیر چند نکته مهم را آشکار ساخت:
- آزمایشات فاسد و عدم تازگی داده‌های تست
- نشت داده‌های آموزشی در مجموعه تست
- اندازه‌گیری نادرست پیشرفت کدنویسی
این عوامل باعث شد تا نتایج به دست آمده از این مجموعه، کم‌ارزش و حتی گمراه‌کننده شوند.
۲. جایگزین پیشنهادی: SWE‑Bench Pro
برای رفع این مشکلات، OpenAI بر معرفی و سمت‌گیری از SWE‑Bench Pro تاکید کرده است. این نسخه جدید علاوه بر به‌روزرسانی مجموعه‌ی تست، شامل کنترل‌های دقیق‌تری برای جلوگیری از نشت داده‌ها و آزمایش واقعی‌تر است.
همچنین از مدل‌های جدید هوش مصنوعی انتظار می‌رود تا از این مجموعه برای به‌دست آوردن داده‌های معتبر و قابل مقایسه بهره ببرند.
پرسش‌های پرتکرار
SWE‑Bench Verified چیست و چه کاربردی دارد؟
SWE‑Bench Verified مجموعه‌ای از تست‌ها بود که برای سنجش کیفیت کد تولید شده توسط مدل‌های هوش مصنوعی طراحی شد. هدف اصلی آن پیگیری پیشرفت مدل‌ها در تولید کد درست و کارآمد بود.
SWE‑Bench Pro چه تفاوتی با Verified دارد؟
SWE‑Bench Pro نسخه‌ای به‌روز شده و بهبود یافته‌تر است که علاوه بر به‌دست آوردن داده‌های تازه، کنترل‌های سخت‌گیرانه‌ای برای جلوگیری از نشت داده‌ها و آزمایش‌های منحصربه‌فرد ارائه می‌دهد.
