مقدمه
در دنیای نوظهور هوش مصنوعی، روش‌های پیشرفته‌ای برای بازخورد انسانی وجود دارد. یکی از جدیدترین و ساده‌ترین امکانات DPO (Direct Preference Optimization) است که به‌وسیله‑آن می‌توان مدل‌های زبانی را بدون نیاز به محاسبات پیچیده‑ی RLHF مجدداً آموزش داد.
DPO چیست و چرا مهم است؟
DPO یک رویکرد مبتنی بر یادگیری تقویتی با بازخورد انسان است که با حذف گام‌های میانی معمول RLHF، فرآیند آموزش را بسیار سریع‌تر و قابل تنفیذتر می‌کند. به جای طراحی تابع پاداش پیچیده، فقط از ضرایب برابری دو گزینه‑ای ساختگی استفاده می‌شود.
- کاهش هزینه‌های محاسباتی
- ساده‌سازی مرحله‑ی fine‑tune
- بهبود همبستگی خروجی‌ها با انتظارات انسان
- قابلیت یکپارچه‌سازی در پلتفرم‌های Hugging Face
این‌کار چگونه انجام می‌شود؟
برای fine‑tuning لامّا ۲ با DPO، ابتدا یک مجموعه داده علوم انسانی آماده می‌شود؛ سپس دو نمونه‌ی خروجی مدل تولید می‌شوند و انسان‌ها انتخاب ترجیح را انجام می‌دهند. بر روی این دو نمونه به‌صورت باینری کراس‑انتروپی آموزش داده می‌شود که در نهایت مدل با دقت به ترجیحات انسانی نزدیک‌تر می‌شود.
Hugging Face با ارائه کتابخانه‑ی trl و مستندات روز، این فرایند را برای پژوهشگران و توسعه‌دهندگان آسان کرده است. آخرین نسخه لامّا ۲ در داکیومنت‌های این پلتفرم قابلیت fine‑tune با DPO را به‌صورت کامل پشتیبانی می‌کند.
پرسش‌های پرتکرار
DPO چگونه نسبت به PPO متفاوت است؟
در DPO نیازی به محاسبه بازخورد وابسته به وضعیت و تابع پاداش نیست؛ به جای آن از فایلک‌برابر تبدیل‌های باینری استفاده می‌شود، که فرآیند را سریع‌تر می‌کند.
آیا Llama 2 با DPO در محدودیت‌های محاسباتی مناسب است؟
بله، چون DPO می‌تواند با توان پردازشی پایین‌تر آموزش یابد و در نتیجه محیط‌های علمی و پروژه‌های متن‌باز کاربرد دارد.
