چرا مدل‌های زبانی قاضی می‌خواهند؟
ارزیابی خروجی مدل‌های زبانی ساخته‌شده با یادگیری عمیق، همواره یکی از چالش‌های بنیادی در هوش مصنوعی بوده است. با رشد روزافزون تولیدکنندگان متن، «LLM-as-a-Judge» یعنی استفاده از خود مدل‌های زبانی برای نمره‌دهی به خروجی‌های دیگر، به یکی از رایج‌ترین روش‌ها تبدیل شده است. اما پرسش کلیدی اینجاست: کدام مدل بهترین داور است؟
هَگینگ‌فیس در نوامبر ۲۰۲۴ پاسخی عملی برای این پرسش ارائه داد: پلتفرمی تعاملی به نام Judge Arena که به هر کاربر اجازه می‌دهد مدل‌های زبانی را به‌صورت موازی به‌عنوان داور مقایسه کند و رأی خود را ثبت کند.
Judge Arena چگونه کار می‌کند؟
سازوکار Judge Arena بر مبنای جنگ‌های تصادفی و جمعی بنا شده است؛ الگویی که پیش‌تر در Chatbot Arena پلتفرم LMSys با بیش از ۲ میلیون رأی، اعتبار خود را نشان داده بود. در این سامانه، دو مدل داور روی یک نمونهٔ آزمایشی قرار می‌گیرند و کاربر مخفیانه پاسخ‌های آن‌ها را بررسی می‌کند و سپس اعلام می‌کند با کدام موافق‌تر است. این رأی‌ها به‌صورت تجمیعی در یک رده‌بندی زنده منعکس می‌شوند.
نمای کلی نحوهٔ عملکرد شامل مراحل زیر است:
- انتخاب دو مدل داور از میان مدل‌های حاضر در پلتفرم
- ارائهٔ ورودی آزمایشی شامل پرامپت و پاسخ تولیدشده
- دریافت نمره و توضیح هر دو مدل ارزیاب
- ثبت رأی کاربر و افزودن به آمار تجمیعی رده‌بندی
مدل‌های حاضر و رده‌بندی
Judge Arena در نسخهٔ نخست مدل‌های متنوعی را پشتیبانی می‌کند و هدف بلندمدت آن گسترش فهرست مدل‌هاست. رده‌بندی نهایی بر اساس درصد برد هر مدل در جنگ‌های تصادفی محاسبه می‌شود. اطلاعات اولیه نشان می‌دهد مدل‌های بزرگ‌تر لزوماً برترین داورها نیستند و عواملی مانند طراحی پرامپت داور و مجموعهٔ دادهٔ آزمایشی نیز در نتایج مؤثرند.
چگونه به Judge Arena کمک کنیم؟
مشارکت عمومی رایگان است: هر کاربر بدون نیاز به حساب پولی می‌تواند وارد پلتفرم شود، جنگ‌ها را برگزار کند و رأی خود را ثبت کند. هرچه آراء بیشتر باشد، آمار رده‌بندی دقیق‌تر خواهد بود. کد و مبانی پروژه نیز روی گیت‌هاب به‌صورت متن‌باز منتشر شده تا پژوهشگران بتوانند در توسعهٔ آن سهیم شوند.
این ابتکار با همکاری تیم‌هایی از Atla AI و Cohere شکل گرفته و گامی مهم در جهت استانداردسازی ارزیابی لایه‌بندی‌شده مدل‌های زبانی به‌شمار می‌رود.
پرسش‌های پرتکرار
Judge Arena چیست و چه هدفی دارد؟
Judge Arena یک پلتفرم متن‌باز از هَگینگ‌فیس است که برای مقایسهٔ مدل‌های زبانی در نقش قاضی (LLM-as-a-Judge) طراحی شده؛ کاربران مدل‌ها را روی نمونه‌های آزمایشی اجرا و رأی خود را ثبت می‌کنند تا یک رده‌بندی عمومی شکل بگیرد.
لیگ رده‌بندی بر اساس چه معیاری محاسبه می‌شود؟
نتایج بر اساس درصد برد هر مدل در جنگ‌های تصادفی دو به دو با سایر مدل‌ها محاسبه می‌شوند؛ منطقی مشابه Chatbot Arena که آرشیو میلیون‌ها رأی انسانی را به‌عنوان سنجش میدانی معتبر اثبات کرده است.
