معرفی DROP و جایگاه آن در ارزیابی مدل‌های زبانی
آزمون DROP (Discrete Reasoning Over Paragraphs) به‌عنوان یک معیار سخت‌گیر برای ارزیابی توانایی مدل‌ها در استخراج اطلاعات معنادار از پاراگراف‌های انگلیسی و انجام استدلال‌های گسسته مطرح می‌شود. این آزمون شامل سوالاتی است که به ترتیب بازیابی داده، مرتب‌سازی یا شمارش صحنه می‌طلبد.
نمره‌گذاری و مقیاس‌بندی DROP
در معیاری که بر پایهٔ f1 و exact‑match ساخته شده، بازخوردی دقیق به مدل ارائه می‌شود. با افزودن DROP به Open LLM Leaderboard، انتظار داشت به‌نظیر سایر آزمون‌های ARC، HellaSwag، TruthfulQA و MMLU، نمره‌ها به‌صورت خطی با کیفیت کلی مدل همسو باشند، اما نتایج نشان دادن روندی غیرمعمول وجود دارد.
یافته‌های شگفت‌انگیز و تحلیل ترسیم گراف‌ها
نمودارهای مقایسه‌ای نشان دادن چندین مدل در نمره DROP کمتر از ۱۰٪ f1 نمره داشتند، در حالی که سایر معیارها هنوز به‌نحوی مناسب بوده‌اند. این موضوع پرسش‌های مجددی در مورد چگونگی پیاده‌سازی و یادگیری متناظر با استدلال‌های گسسته مطرح کرده است. برای برطرف‌سازی این تضاد، تیم Hugging Face اقدام به بازبینی داده‌های آموزشی و بهینه‌سازی الگوریتم‌های دقت داشت.
- استفاده از مجموعه‌های دادهٔ متنوع، امکان گسترش بهتر در طول رانینگ مدل‌ها را فراهم می‌آورد.
- فیلدهای مستند‌سازی و آموزش بر لایهٔ ادغام اطلاعات به نحو مطلوب می‌پردازند.
- پوشش گسترده بر جامعهٔ کاربران، فضاهای متن‌باز و الگوریتم‌های متعارف، سریعی در توسعه خواهد داشت.
پرسش‌های پرتکرار
چرا نمره DROP برای اکثر مدل‌های پیش‌آموزش‌پذیر کمتر از 10٪ است؟
نمره پایین در DROP به دلیل عدم توانایی مدل‌ها در استخراج دقیق اطلاعات و تشکیل دسترای گسسته از پاراگراف‌های طولانی می‌باشد. عوامل متعددی نظیر کمبود داده‌های مرتبط با استدلال گسسته، ساختارهای تمرینی نامناسب و تاثیر نادرست توزیع نمونه‌ها بر این نمره تأثیرگذارند.
چه راهکارهایی برای بهبود عملکرد مدل در آزمون DROP وجود دارد؟
به‌روز‌رسانی مجموعه‌های آموزشی با متون حاوی چالش‌های استدلال مرتبه‌ای، استفاده از تکنیک‌های تربیت چندمرحله‌ای، بهینه‌سازی پارامترهای دروس گرادیان و آموزش خاص با فاکتورهای نرملاسیون می‌توانند در ارتقای نمره DROP موثر باشند.
