معرفی مدل‌های دید‑زبان (VLM)
مدل‌های دید‑زبان ترکیبی از تصاویر و متن می‌باشند و توانایی استخراج ویژگی‌های بصری و معنایی را به طور همزمان دارند.
روش‌های همسو سازی در فریم‌ورک TRL
همسو سازی (Alignment) به معنای تطبیق خروجی مدل با ترجیحات انسانی است. در TRL سه روش جدید معرفی شده‌اند که از داده‌های پیشرفت‌های انسانی بهره می‌برند.
- MPO (Mixed Preference Optimization): ترکیبی از چندین پیامد ترجیحی برای یادگیری بهتر.
- GRPO (Group Relative Policy Optimization): بهبود رفتار مدل در مجموع گروهی از کاربران.
- GSPO (Group Sequence Policy Optimization): بهینه‌سازی به صورت دنباله‌ای در گروه‌های مختلف.
مقایسه MPO، GRPO و GSPO
این بخش شامل بررسی مقایسه‌ای این سه روش نسبت به DPO و مقایسه عملکرد، مقیاس‌پذیری و کیفیت پاسخ‌ها است.
گسترش‌های آینده برای مدل‌های VLM
به‌علاوه، بخش‌های دیگری مانند آموزش راهنمایی اجتماعی (Socially Guided Fine‑Tuning) و ادغام با vLLM در محیط‌های ابری در دستور کار قرار دارند.
پرسش‌های پرتکرار
TRL چیست و چه مفهومی در همسو سازی مدل‌های VLM دارد؟
TRL یا Training Reinforcement Learning یک فریم‌ورک متن‌باز است که در آن مدل‌های یادگیری تقویتی برای بهینه‌سازی رفتار مدل‌های زبان و تصویر مبتنی بر ترجیحات انسانی استفاده می‌شود. در این چارچوب، داده‌های رتبه‌بندی شده توسط انسان‌ها به عنوان بازخورد برای تنظیم وزن‌های مدل به کار می‌روند.
MPO، GRPO و GSPO چه تفاوتی با DPO دارند؟
DPO (Direct Preference Optimization) به‌صورت جفتی (pairwise) پیش‌بینی‌ها را رتبه‌بندی می‌کند، در حالی که MPO (Mixed Preference Optimization) از ترکیب چندین نمونه ترجیحی بهره می‌برد؛ GRPO و GSPO به ترتیب بهبود رفتار مدل در گروه‌های مختلف کاربران و یا بهینه‌سازی دنباله‌ای در گروه‌ها را هدف‌گذاری می‌کنند، که این‌ها باعث بهبود مقیاس‌پذیری و کارایی در محیط‌های چندمتغیر می‌شود.
