گام‌های جدید در ارزیابی مدل‌های هوش مصنوعی
در سال ۲۰۲۶، Hugging Face تبدیل به مفهومی نوین در مقداردهی عملکرد مدل‌های زبان شد. ویژگی اصلی Community Evals، ارائه‌ی لیست‌های ارزیابی مستقیم بر روی دیتاست‌هایی است که هم‌زمان برای آموزش و راه‌اندازی مدل‌ها استفاده می‌شوند، به گونه‌ای که مدل‌ها خود امتیازها را ذخیره می‌کنند و توسط اعضای جامعه به‌روزرسانی می‌شوند.
- تکمیل چرخهٔ ارزیابی؛ از طریق PRs اعضا می‌توانند نتایج جدید را ارسال کنند.
- پشتیبانی از برچسب‌های تأیید شده؛ هر نتیجه که بازتولید شد، به‌صورت بروز و قابل اعتماد نمایش داده می‌شود.
- سازگاری با همه قالب‌ها؛ مدل‌ها، دیتاست‌ها، و دفاتر اسپیس در یک فریم‌ورک همگرا عمل می‌کنند.
نقاط قوت Community Evals
پлатفرم طوری طراحی شده که خودکارانه‌سازی فرایند مقابله با اختلاف گزارش‌های متعدد را تضمین کند. در گذشته، مقالات، مدل‌کارت‌ها، و اژانس‌های مختلف نتایج متفاوتی اعلام می‌کردند. اکنون یک منبع واحد از حقایق وجود دارد که اسناد و کدهای مبدأ در پوشهٔ مدل وردکش می‌کنند.
اینجانب واقعی، باعث شفافیت می‌شود؛ اگر یک ماژول درک کنش‌پذیری را تبلیغ کند، دیگر نیازی نیست بر لیست‌های بلاک‌باکس سرازیر شوید. گرافیک‌های نسبی و بازرسی مستقیم در رابط کاربری، امکان مقایسه دستی در طول زمان را می‌دهد.
چالش‌های باقی مانده و چشم‌انداز آینده
اگرچه MMLU و GSM8K به سطحی بالاتر از ۹۰٪ دست یافته‌اند، اما تنها درصدی از مدل‌های برتر قابلیت دسترسی به اینترنت، نوشتن کدهای تولیدی و انجام وظایف چندمرحله‌ای را به‌صورت بی‌هستالیشن ارائه می‌دهند. این شکاف میان نتایج بلیارد و عملکرد واقعی هنوز دوچرخه باقی مانده است.
به‌علاوه، شرکتی که در راه قرار گرفته متأسفانه نتایج را در نمایش‌های متداول می‌سازد، مشکل منبع‌حقیقت مختلف از زمان گذشته را برطرف می‌کند. برای شرکت در ارزیابی و دریافت نشان‌های تأیید، کافی است از طریق PR نتایج مورد نظر را بر روی گیت‌هاب ارائه دهید.
پرسش‌های پرتکرار
Community Evals چیست؟
Community Evals یک ساختار در Hugging Face است که با ترکیب دیتاست‌ها، مدل‌ها و لیست‌های ارزیابی، یک منبع یکپارچه و معتبر برای مقایسهٔ عملکرد مدل‌های هوش مصنوعی فراهم می‌کند.
چگونه می‌توانم در این پلتفرم شرکت کنم؟
برای همکاری، می‌توانید یک Pull Request با نتایج جدیدتان در مخزن مدل مذکور ارسال کنید، سپس اگر نتایج قابل بازتولید باشند، یک برچسب تأیید دریافت خواهید کرد.
