مقدمه
در دنیای امروز، ارزیابی و مقایسه‌ی مدل‌های زبان بزرگ (LLM) به‌صورت شفاف و آزاد یکی از کلیدی‌ترین نیازهای پژوهشگران و توسعه‌دهندگان است. لیدربورڈهای مختص هوش مصنوعی یک راه‌حل منحصر به فرد فراهم می‌کنند تا عملکرد مدل‌ها در مجموعه‌ی آزمایشی مختلف اندازه‌گیری و به‌صورت مداوم به‌روز شود. در این مقاله به‌صورت گام به گام نحوه‌ی راه‌اندازی یک لیدربورڈ در Hugging Face را بررسی می‌کنیم، و به ویژه با بررسی «HuggingFace Open LLM Leaderboard» و امکانی برای افزودن “Hughes Hallucination Evaluation Model (HHEM)”.
مقداردهی به هالوژن در مدل‌های LLM
تحلیل میزان هالوژن یا «تخیلات» در خروجی‌های مدل، چالش اساسی‌ای است که به دقت و اعتبار نتایج وابسته است. ماژول HHEM با سنجش دقیق‌تری نسبت به خروجی‌های مدل، پارامترهای نثرهای غیرموجب و غیرمتصل را به‌عنوان معیار ارزیابی می‌کند. این امکان را برای توسعه‌دهندگان فراهم می‌آورد تا بتوانند برای چه‌مدل‌هایی سرعت و دقت پایدار بیشتری دارد و برای چه‌مدل‌هایی به‌روزرسانی لازم است.
چگونگی راه‌اندازی لیدربورڈ در هاجینگ فیس
برای راه‌اندازی لیدربورڈ، ابتدا باید یک حساب کاربری در Hugging Face ایجاد کنید. سپس از بخش Spaces یک فضای جدید ایجاد کنید و از قالب "llm-leaderboard" که توسط خود Hugging Face در اختیارتان قرار دارد، استفاده کنید. در ادامه، کدهای نمونه در مستندات API را به‌صورت محلی تنظیم می‌کنیم تا بتوانید مدل موردنظرتان را به راحتی آپلود و مقایسه کنید.
مراحل اصلی راه‌اندازی
- دریافت کلید دسترسی API جهت بارگذاری مدل و داده.
- پیکربندی فایل YAML برای تعریف توابع ارزیابی و تعیین پارامترهای خروجی.
- انتخاب و اتصال مدل‌های کد باز یا تجاری (مانند Llama 2، Mistral 7B، GPT‑4)
- اجرای آزمون‌های مجموعه‌های مختلف: TruthfulQA، HellaSwag، و مجموعه‌های مختص هالوژن.
- نمودرسازی نتایج و ایجاد جدول مقایسه در فرم لیدربورڈ.
- به‌روزرسانی پویا با اضافه کردن مدل‌ها و پایگاه‌های استدلال جدید.
بعد از انجام این مراحل، لیدربورڈ شما آماده‌ی اشتراک‌گذاری در وب‌سایت یا حتی فضای شخصی است. با ارائه اطلاعات شفاف و بروزرسانی مستمر، کاربران فعال می‌توانند بهترین مدل را براساس نیازهای خود انتخاب کنند.
پرسش‌های پرتکرار
چگونه می‌توانم لیدربورڈ شخصی‌ام را در هاجینگ فیس راه‌اندازی کنم؟
ابتدا حساب کاربری در هاجینگ فیس ایجاد کنید، سپس یک Space جدید از قالب "llm-leaderboard" انتخاب کنید، کدهای نمونه را بکار ببرید و مدل‌های خود را بارگذاری کنید؛ پس از زمان کافی، پویا سازی جدول‌های ارزیابی را آغاز کنید.
HHEM چیست و چگونه می‌تواند به ارزیابی مدل کمک کند؟
HHEM (Hughes Hallucination Evaluation Model) یک ابزار متن باز برای سنجش میزان هالوژن در خروجی مدل‌ها است؛ با ارزیابی پاسخ‌های مدل و مقایسه با متون منبعی، دقیق‌تر بنای دقت مدل را می‌توانیم اندازه‌گیری کنیم.
