مقدمه
انتقال توجه از روش‌های تقویتی به بهینه‌سازی مستقیم ترجیحات، یک گام مهم در توسعه هوش مصنوعی باز و دسترس‌پذیر است. در این مقاله، روش‌های Direct Preference Optimization (DPO) و IPO را در چهارچوب آزمایشی در مدل‌های زبانی بررسی می‌کنیم.
روش‌ها و تنظیمات آزمایشی
پروژه به سه بخش اصلی تقسیم شده است: (1) انتخاب مدل، (2) طراحی پارامترهای آزمایشی، و (3) گنجاندن استقرار در محیط‌های میزبان بهینه. مدل‌های آزمایشی شامل Zephyr-7b-beta-SFT و OpenHermes-7b-2.5 بوده‌اند.
نتایج و بحث
پیش از به‌روزرسانی اولیه، اجرای IPO در کتابخانه TRL به‌صورت نادرست انجام می‌شد؛ ضرایب بر پایه مجموع، بجای میان‌گیر، محاسبه می‌شد. پس از اصلاح، نتایج به‌روز نشان می‌دهد: IPO و DPO در شرایط جفت‌پوشی ترجیحات یکسان عمل می‌کنند و هر دو از KTO پیشی می‌برند.
- مدل Zephyr-7b-beta-SFT: 0.76 AU, 0.72 AU (IPO)
- مدل OpenHermes-7b-2.5: 0.84 AU, 0.80 AU (DPO)
- نمودار مقایسه‌ای در دیتابیس Spaces منتشر شد.
برنامه‌های آینده
با توجه به نتایج، گام بعدی توسعه افزونه‌های ارایه‌شده در HuggingFace PRO و ورژن‌های تجاری است. همکاری‌های بین‌المللی و کلاس‌های آموزش آنلاین در زمینه ایجادی نمونه مارکونی مورد انتظار است.
پرسش‌های پرتکرار
DPO و IPO چه تفاوتی با KTO دارند؟
DPO و IPO بدون استفاده از یادگیری تقویتی عمل می‌کنند و با استفاده از توپولوژی‌های بهینه‌سازی مستقیم، ترجیحات انسانی را مدل‌سازی می‌کنند؛ در حالی که KTO بر پایه ارتباطات کلمات و توکن‌ساز استفاده می‌کند.
آیا این روش‌ها در نسخه‌های بزرگتر مدل‌ها (مثلاً 30B) کار می‌کنند؟
بله، آزمایش‌های اولیه نشان داده‌اند که DPO و IPO در مدل‌های بزرگ نیز عملکرد مشابهی دارند؛ اما ترکیب پارامترها برای مقیاس‌های بزرگ ممکن است بهبودهای بیشتری نیاز باشد.
