RLHF چیست و چرا مهم است؟
یادگیری تقویتی با بازخورد انسانی (RLHF) یک روش پیشرفته برای آموزش مدل‌های زبانی است که با استفاده از امتیازهای انسانی، مدل را به سمت پاسخ‌های مطلوب هدایت می‌کند. در سال ۲۰۲۳، OpenAI اولین کدهای GPL در این حوزه را منتشر کرد و جامعهٔ علمی انتظار بازتولید و بررسی جزئیات آن را داشت.
پیاده‌سازی در Hugging Face و نکات کلیدی
Hugging Face با کمک تیم خود، نسخهٔ پیاده‌سازی PPO (Proximal Policy Optimization) را برای RLHF بازنویسی کرد. نکات برجسته عبارتند از:
- استفاده از PyTorch و Adam optimizer برای به‌روزرسانی وزن‌‌های مدل پاداش.
- نظام ارسال اعداد اعشاری برای مقابله با مسائل عددی در هنگام حفر کننده الگوریتم.
- پیاده‌سازی Policy Training loop با دو فاز: پیش‌پردازش داده‌ها و یادگیری بر اساس امتیازات انسان.
- تنظیم پارامترهای clip_epsilon و entropy_coef برای تعادل میان نواوری و بهره‌وری.
- ایجاد آمارهای Learning Curves برای مقایسه با نتایج اولیهٔ OpenAI.
محدودیت‌ها و راهکارهای ممکن
هرچند پیاده‌سازی موفق بود، چند محدودیت برجسته بود:
- حجم حافظه محدود برای مدل‌های بزرگ‌تر و نیاز به سرورهای قدرتمند.
- محدودیت در تعداد نمونه‌های دادهٔ انسانی، که می‌تواند بر کیفیت فرایند تأثیر بگذارد.
- مقاله نکات عملی برای حل مشکلات عددی در محیط‌های مختلف، مانند تغییر نرخ یادگیری.
پیشنهاد می‌شود برای پروژه‌های کاربردی، از huggingface/trl استفاده شود که امکانات پیشرفتهٔ PEFT و مقیاس‌پذیری بالاتری را فراهم می‌کند.
پرسش‌های پرتکرار
انواع مدل‌های پاداش در RLHF چیست؟
در این پیاده‌سازی، دو مدل پاداش متداول استفاده شده‌اند: یک مدل بر پایهٔ یادگیری ماشین ساده (نیروی دست‌نوشته) و یک شبکه عمیق‌تر که توزیع داده‌های انسانی را تشخیص می‌دهد.
آیا می‌توان از این کد برای مدل‌های بزرگ‌تر استفاده کرد؟
بله، با راه‌اندازی سرورهای ابری و به‌کارگیری تکنیک‌های موازی‌سازی می‌توان از این پیاده‌سازی برای مدل‌های GPT‑3 و ترنسفرمدرهای مشابه استفاده کرد؛ اما بهینه‌سازی حافظه و زمان بر عوردهٔ طراحی دقیق می‌باشد.
