در دنیای هوش مصنوعی و مدل‌های زبانی بزرگ، رسیدن به پاسخ درست همیشه به معنای درک و استدلال واقعی نیست. بسیاری از مدل‌ها ممکن است نتیجهٔ نهایی را به‌درستی پیش‌بینی کنند، اما نتوانند مراحل منطقی رسیدن به آن را توضیح دهند. تکنیک «زنجیره تفکر» (Chain of Thought) دقیقاً برای همین چالش طراحی شده است؛ مدل پیش از پاسخ، گام‌به‌گام استدلال می‌کند و مسیر حل مسئله را آشکار می‌سازد. هاگینگ‌فیس در تازه‌ترین اقدام خود، رده‌بندی جدیدی به نام Open CoT Leaderboard منتشر کرده تا توانایی مدل‌ها را در استفاده از این روش در وظایف استدلالی چالش‌برانگیز ارزیابی کند.
انگیزهٔ ایجاد Open CoT Leaderboard چیست؟
با گسترش کاربرد مدل‌های زبانی در عوامل هوشمند و برنامه‌های مبتنی بر واکشی، درک این نکته اهمیت زیادی پیدا کرده که چرا یک مدل به پاسخ مشخصی می‌رسد. زنجیره تفکر به مدل امکان می‌دهد مسیر استدلال را از مقدمه تا نتیجه طی کند. با این حال، تأثیر واقعی این روش بر دقت مدل‌ها چندان شفاف نبود. Open CoT Leaderboard با هدف پاسخ به این پرسش طراحی شده است.
روش اندازه‌گیری: بهبود دقت، نه دقت مطلق
بزرگ‌ترین تفاوت این رده‌بندی با سایر جدول‌های رتبه‌بندی، در معیار سنجش آن است. در اینجا خبری از مقایسهٔ دقت مطلق نیست؛ بلکه اختلاف بین دقت مدل با و بدون زنجیره تفکر محاسبه می‌شود. به بیان دقیق‌تر:
Δ = دقت مدل با Chain of Thought - دقت همان مدل بدون Chain of Thought
به این ترتیب می‌توان فهمید کدام مدل بیشتر از این روش سود می‌برد و کدام یک عملاً تغییری در عملکرد خود نمی‌بیند.
ویژگی‌های اصلی رهیافت جدید
- تمرکز بر «بهرهٔ استدلالی» به‌جای رتبه‌بندی صرف بر اساس دقت نهایی
- ارزیابی در وظایف استدلالی دشوار که نیازمند گام‌های میانی‌اند
- تولید زنجیره‌های تفکر و تحلیل تأثیر آن‌ها بر پاسخ نهایی
- بستر متن‌باز و قابلمشارکت برای جامعهٔ پژوهشگران مدل‌های زبانی
دستاوردهای اصلی و گام‌های بعدی
رهیافت این رده‌بندی، تصویر دقیق‌تری از توانایی استدلالی مدل‌ها ارائه می‌دهد و به پژوهشگران کمک می‌کند مدل‌هایی را انتخاب کنند که از نظر زنجیره تفکر قابل‌اتکاتر هستند. همچنین این پروژه نشان می‌دهد که ارزیابی مدل‌ها نباید تنها به پاسخ نهایی محدود شود؛ کیفیت مسیر استدلال نیز به همان اندازه اهمیت دارد.
در گام‌های بعدی انتظار می‌رود مجموعه داده‌های بزرگ‌تری به کار گرفته شوند و روش‌های متنوع‌تری برای تولید زنجیرهٔ تفکر بررسی شوند. علاقه‌مندان نیز می‌توانند از طریق مشارکت در مجموعه‌داده‌ها، ارسال بازخورد و همکاری در بهبود روش‌های ارزیابی، در توسعهٔ این رده‌بندی مؤثر باشند.
منبع: Hugging Face
پرسش‌های پرتکرار
Open CoT Leaderboard چیست و چه تفاوتی با رده‌بندی‌های دیگر دارد؟
Open CoT Leaderboard یک رده‌بندی متن‌باز است که توانایی مدل‌های زبانی را در تولید زنجیره تفکر برای وظایف استدلالی می‌سنجد. تفاوت اصلی آن با رده‌بندی‌های رایج، اندازه‌گیری «بهبود دقت» ناشی از استفاده از Chain of Thought به‌جای دقت مطلق است.
چرا در این رده‌بندی به‌جای دقت نهایی، اختلاف دقت با و بدون CoT بررسی می‌شود؟
چون هدف، بررسی تأثیر واقعی تکنیک زنجیره تفکر بر عملکرد مدل است. دقت پایهٔ مدل ممکن است به عوامل دیگری وابسته باشد، اما اختلاف دقت نشان می‌دهد که آیا CoT واقعاً به مدل کمک کرده یا خیر.
