پروژه متن‌باز Open R1 که با هدف بازسازی اجزای ناشناخته مدل DeepSeek R1 شکل گرفته، در دومین به‌روزرسانی رسمی خود از انتشار دیتاست جدیدی خبر داد. این پروژه که تنها دو هفته از آغاز آن می‌گذرد، تمرکز خود را روی بازسازی پایپ‌لاین آموزش و تولید داده‌های مصنوعی مدل DeepSeek R1 گذاشته است. در این مقاله از وبلاگ هما، به بررسی مهم‌ترین نکات این به‌روزرسانی می‌پردازیم.
دیتاست OpenR1-Math-220k؛ گامی بزرگ برای استدلال ریاضی
تیم Open R1 در این به‌روزرسانی از ساخت دیتاست OpenR1-Math-220k خبر داد؛ مجموعه‌داده‌ای گسترده و متن‌باز شامل ۲۲۰ هزار نمونه برای آموزش مدل‌های استدلال ریاضی. این دیتاست با ترکیب تولید داده و فیلتر دقیق طراحی شده تا کیفیت بالایی در آموزش مدل‌های زبانی فراهم کند. مقایسه عملکرد اولیه این دیتاست با مدل DeepSeek-Distill-Qwen-7B نشان‌دهنده رقابت نزدیک و نتایج امیدوارکننده است.
بهبودهای Math-Verify و کنترل طول زنجیره تفکر
یکی دیگر از محورهای این به‌روزرسانی، بهبود ابزار صحت‌سنجی پاسخ‌های ریاضی با نام Math-Verify است. این ابزار نقش مهمی در ارزیابی خروجی مدل‌ها دارد و ارتقای آن می‌تواند دقت ارزیابی‌ها را افزایش دهد. همچنین پژوهشگران به بررسی روش‌هایی مانند budget forcing و reward shaping پرداخته‌اند که به کنترل طول زنجیره تفکر (Chain of Thought) در مدل‌های استدلالی کمک می‌کند.
نکات برجسته و تحولات جامعه متن‌باز
جامعه متن‌باز در این دو هفته فعالیت چشمگیری داشته است. برخی از مهم‌ترین تحولات عبارتند از:
- توجه فزاینده به داده‌های کوچک با کیفیت بالا برای تنظیم دقیق مدل‌ها
- بررسی این پرسش که آیا مدل‌های زبانی واقعاً به استدلال در زبان طبیعی نیاز دارند
- پیشرفت در روش‌های کنترل طول پاسخ و بهینه‌سازی پاداش در مدل‌های استدلالی
- انتشار ابزارها و آموزش‌های متن‌باز برای بازتولید پایپ‌لاین آموزش DeepSeek R1
مسیر آینده پروژه Open R1
تیم Open R1 قصد دارد در ادامه مسیر، ساخت پایپ‌لاین کامل آموزش و داده‌های مصنوعی را ادامه دهد و به سوالات بنیادین درباره ماهیت استدلال در مدل‌های زبانی پاسخ دهد. با توجه به شتاب فعلی، این پروژه می‌تواند به یکی از منابع اصلی برای توسعه مدل‌های استدلالی متن‌باز تبدیل شود.
پرسش‌های پرتکرار
پروژه Open R1 چیست؟
پروژه Open R1 یک ابتکار متن‌باز است که هدف آن بازسازی اجزای ناشناخته مدل DeepSeek R1، به‌ویژه پایپ‌لاین آموزش و داده‌های مصنوعی، برای شفافیت و دسترسی عموم است.
دیتاست OpenR1-Math-220k چه ویژگی‌هایی دارد؟
این دیتاست شامل بیش از ۲۲۰ هزار نمونه برای آموزش مدل‌های استدلال ریاضی است و با ترکیب تولید داده و فیلتر دقیق ساخته شده است. عملکرد آن در مقایسه با DeepSeek-Distill-Qwen-7B امیدوارکننده بوده است.
