دقت ارزیابی و تغییرات ناهماهنگ در فرمت
تجربه‌های اخیر تیم Leadboards & Evals در Hugging Face نشان داد که ارزیابی مدل‌های زبان بزرگ بر واژه‌های فرمت ناپایدار حساس است، به‌طوری‌که خروجی‌های یکسان با تغییر کوچک در فرمت تفاوت چشمگیری نشان می‌دهد.
پیشنهاد ساختاردهی: خروجی یکنواخت
با تمرکز مستقیماً بر خروجی؛ نه ورودی، مدل می‌تواند خروجی‌های هماهنگی تر و معنادارتر تولید کند. این ایده در همکاری با Dottxt آزمایش شد و نتایج مشوق‌ساز بودند.
- ارزیابی GSM8K در حالت 1 تا 8 شیوت.
- تغییر ترتیب فضاهایشیوت و تأثیر آن بر نتیجه.
- مقایسه حساسیت فرمتیابی در GPQA.
تحلیل تجربی و نتایج
ساختاردهی عمیق‌تر، ثبات مدل را در برابر تغییرات پیمانه‌ی فرمت بهبود می‌بخشد. آزمایشات اولیه نشان می‌دهد این رویکرد مسیر جدیدی برای ارزیابی منسجم مدل‌های زبانی فراهم می‌کند.
پرسش‌های پرتکرار
چگونه می‌توان خروجی مدل را به‌صورت ساختاریافته تنظیم کرد؟
استفاده از قالب‌های مشخص‌شده و پیش‌پردازش دادهٔ خروجی، با تمرکز بر نگه داشتن سلسله‌مراتبی و دسته‌بندی موضوعی، مدل را برای تولید خروجیٔ منسجم تر هدایت می‌کند.
تغییر فرمت ورودی چه تأثیراتی بر ارزیابی مدل دارد؟
تحقیقات نشان می‌دهد که حتی تغییرات جزئی در قالب و ترتیب ورودی، در ارزیابی عملکرد مدل، تأثیر قابل توجهی می‌گذارد؛ به‌هرحال، به‌کارگیری ساختاردهی خروجی می‌تواند نوسانات را به حداقل برساند و نتایج معتبر‌تری ارائه دهد.
