۱. چه چیزی LiveCodeBench را متفاوت می‌کند؟
LiveCodeBench به‌عنوان یک بنچمارک زمان‌مند طراحی شده‌است؛ با بهره‌گیری از منابع مختلف مسابقات برنامه‌نویسی، این ابزار امکان ارزیابی مدل‌ها در فضاهای زمانی مختلف را فراهم می‌آورد. این ویژگی به‌منظور جلوگیری از «تداخل» یا contamination در نتایج کمک می‌کند و احتمال پیش‌بینی ناپذیر الگوریتم‌های تولید کد را کاهش می‌دهد.
۲. اجزای جامع ارزیابی در LiveCodeBench
به‌علاوهٔ تولید کد، LiveCodeBench به‌توجهی ویژه بر سه حوزه دیگر می‌گیرد: اصلاح خودکار (self‑repair)، پیش‌بینی خروجی تست و اجرای واقعی کد. این مولفهներովام‌آیندهِ سیستم‌های پردازش زبان طبیعی برچسب‌گذاری کات‌های خاص ثابت می‌کند که مدل، فراتر از تولید متن، توانایی عملیاتی‌سازی نظر را دارد.
۳. چگونه می‌توان به لیورورد اضافه شد؟
ثبت‌نام برای LiveCodeBench آسان است؛ کافی است به صفحهٔ Hugging Face LiveCodeBench مراجعه کرده و مدل خود را وارد کنید. تیم پشتیبانی از طریق GitHub راهنمای کامل را در اختیار کاربران قرار می‌دهد و مشارکت در جامعه در به‌روز‌رسانی این بنچمارک نقش مهمی دارد.
- دست‌کمک و آماده‌سازی مسائل بر پایهٔ تاریخ انتشار برای ارزیابی زمانی
- توانبندی‌های خود‌رفعیتگی برای اصلاح کد بعد از انتشار نتایج تست
- اجرای کد بر روی محیط‌های sandbox برای صحت‌سنجی نتایج واقعی
پرسش‌های پرتکرار
چگونه LiveCodeBench از تداخل نتایج (benchmark contamination) جلوگیری می‌کند؟
LiveCodeBench با برچسب‌گذاری دقیق تاریخ انتشار مسائل، مدل‌ها را بر روی مجموعه‌های زمانی مختلف ارزیابی می‌کند؛ این روش باعث می‌شود مدل‌ها فقط بر روی مسائل متواجد در همان بازهٔ زمانی ارزیابی شوند و از یادگیری پیشینهٔ پیش‌رفتنی جلوگیری می‌شود.
روش افزودن مدل خود به لیورورد LiveCodeBench چیست؟
برای افزودن مدل، ابتدا به صفحهٔ وب‌سایت LiveCodeBench در Hugging face مراجعه کنید، بخش "Submit a Model" را انتخاب کرده و اطلاعات مربوط به مدل، داکیومنت ساختار خروجی و گزارش‌های اجرای آزمون را بارگذاری کنید. سپس اوایل ارزیابی انجام خواهد شد و در لیورورد نمایش داده می‌شود.
