مهاجرت vLLM از نسخه 0 به نسخه 1

این نوشتار به تفصیل تغییرات کلیدی در vLLM نسخه 1 را برای حذف اختلافات train‑inference در یادگیری تقویتی توضیح می‌دهد. در دوره اولیه، فرق در محاسبه لود‌پروب‌ها باعث تغییرات غیرمنتظره در سیاست تولید، KL و entropy می‌شد.

اصلاحات اصلی در Backend

برای همخوانی کامل با مدل‌های مرجع، چهار نقطه کلیدی اصلاح شد:

  • پردازش صحیح لود‌پروب‌های خروجی rollout
  • پیکربندی‌های_runtime پیش‌فرض ویژه V1
  • مسیر اعمال وزن‌های جدید در پرش (inflight)
  • استفاده از fp32 در lm_head برای خروجی نهایی

نتایج و تأثیر در یادگیری RL

بعد از اعمال اصلاحات، مقایسه بین اجرای V0.8.5 و V0.18.1 نشان داد که تغییرات سرعت یادگیری را بهبود بخشیده و خطاهای ناشی از ناهماهنگی دور می‌دهد. بنابراین، استفاده از vLLM V1 در محیط‌های کاربری RL بدون نیاز به تغییرات جانبی در objective امکان‌پذیر شد.

پرسش‌های پرتکرار

چرا اصلاحات Backend برای vLLM ضروری بود؟

مismatch در محاسبه لودپروب‌ها باعث تغییر در سیاست‌های RL شد؛ اصلاح رفتار فرانت‌اند باعث همسان‌سازی داینامیک training و inference شد.

تاثیر این تغییرات بر عملکرد مدل چه بود؟

کاهش اختلاف در لود‌پروب‌ها باعث بهبود دقت، کاهش نوسان در reward و سرعت‌بخشی به یادگیری policy شد.