ویژگی‌های رقابت E2LM 2025

ریکلام شده توسط Technology Innovation Institute، رقابت E2LM سال 2025 یک پلتفرم الگوریتمی نوآور برای اندازه‌گیری عملکرد مدل‌های زبانی در مرحله اولیه آموزش را معرفی می‌کند. برخلاف مسابقات سنتی که پس از تکمیل آموزش مدل‌ها را ارزیابی می‌کنند، این چالش به محققان امکان می‌دهد تا پیش‌بینی کنند آیا یک مدل در مسیر درستی قرار گرفته و ممکن است با استفاده از نمونه‌های کوچک بتوان دینامیک آموزش را پیش‌بینی کنند.

شرکت‌کنندگان باید مدل خود را تا لحظه‌ای پیش از فرا رسیدن به نقطه سربه‌رو (training plateau) برگه ثبت‌نام کنند و بر روی مجموعه‌های استاندارد آزمایشی، به‌عنوان مثال SuperGLUE و Natural Questions، نتایج را ارائه نمایند. این روش باعث می‌شود پیش‌بینی‌گرها دقیق‌تر و جامع‌تر از کارکرد مدل‌های LLM در محیط‌های واقعی باشند.

از جمله ویژگی‌های برجسته رقابت می‌توان به موارد زیر اشاره کرد:

  • ارائه یک API ساده برای ارسال مدل و متدهای آموزش.
  • استفاده از مجموعه داده‌های چند زبانه و چند حوزه.
  • یک زمان‌بندی مشخص برای ارزیابی که امکان واکنش سریع تیمها را می‌دهد.
  • پشتیبانی از انواع مختلف معماری مانند Transformer و مدل‌های ترکیبی.
  • فراهم کردن یک صفحه نمره‌گذاری شفاف با پارامترهای متنوع (train loss, zero-shot accuracy و غیره).
  • جوایز مالی به‌صورت نقدی و اعتبار همکاری در پارتی‌های آکادمیک معتبر.
  • به‌اشتراک‌گذاری نتایج بر روی وب‌سایت رسمی و مشارکت در تالارهای آنلاین.
  • ارائه راهنمای جامع برای بهترین عملکرد بر محور معیارهای اطمینان و تفسیر.
  • قابلیت مقابله با مدل‌های استاد و میانی در همان مسابقه.
  • سیاست شفاف عدم تبعیض برای شرکت‌کنندگان بین‌المللی.

طرز شرکت و پلتفرم ثبت‌نام

برای شرکت در این رقابت، تیم شما ابتدا باید درونفرم ثبت‌نام روی وب‌سایت وب‌سایتها و مقادیر دقیق‌تری را اعلام کنند. فرآیند شامل ارسالی مقاله کوتاه (حداکثر ۲ صفحه) است که به‌طور مختصر روش‌ کار، معماری مدل و ویژگی‌های خاص را شرح می‌دهد.

پس از تکمیل فرم، دسترسی به پلتفرم سرورهای Hugging Face برای استقرار مدل و ارسال نتایج در قالب فایل JSON است. تیم‌ها باید در حداکثر ۱۸ ساعت زمان دریافت نتایج، معیارهای ارزیابی را بارگذاری کنند.

برای کمک به سهولت، یک کانال Discord رسمی در دسترس است که در آن سوالات فنی، مسائل هکینگ و یا به‌روزرسانی‌های نهایی قابل بحث است.

معیارهای ارزیابی و جوایز

ارزیابی‌ها بر اساس سه پارامتر اصلی انجام می‌شوند: ۱) منحنی افت آموزش (training loss curve)، ۲) دقت صفر-شیوه (zero-shot accuracy)، و ۳) شاخص تعاملی (interaction metric) که میزان نقاط مثبت در واکنش‌های پویا را نشان می‌دهد.

چون رقابت با مقیاس بزرگ همراه می‌شود، جوایز مالی به گونه‌ای طراحی شده‌اند تا تیم‌ها با محدودیت بودجه نیز بتوانند شرکت کنند. به‌عنوان نمونه، جایزه اول ۶۰ ۰۰۰ دلار آمریکا، جایزه دوم ۳۵ ۰۰۰ دلار و جایزه سوم ۲۰ ۰۰۰ دلار آمریکا است.

علاوه بر جوایز نقدی، شرکت‌کننده‌های برتر دعوت می‌شوند تا در نسخه‌های پیش‌پردازش از برنامه‌های تحقیقاتی و همکاری‌های صنعتی شرکت کنند که در نهایت باعث انتشار رویکردهای جدید می‌شود.

پرسش‌های پرتکرار

چه نوع مدل‌هایی در رقابت E2LM 2025 پذیرفته می‌شوند؟

هر مدل زبانی بزرگ (LLM) که توسط یک مولف یا تیم ارزیابی شده باشد و قادر به تمرین در حیطه آموزش باشد، قابل شرکت است. علاوه بر معماری‌های کلاسیک Transformer، مدل‌های ترکیبی و روش‌های کم برچسب (few‑shot) نیز مورد قبول قرار می‌گیرند.

چند زمان برای ثبت‌نام وجود دارد و چه مراحل؟

تیم‌ها باید در ناحیه ثبت‌نام، نام تیم، توضیح مختصر پژوهش، لینک دسترسی به گیت‌هاب و فایل README مورد انتظار را وارد کنند. پس از تایید، دسترسی به سرور Hugging Face برای استقرار مدل در بخش ارزیابی اختصاص می‌یابد.