کتابخانه transformers از زمان عرضه، به‌عنوان مرجع استاندارد در حوزه یادگیری ماشین شناخته شده و بیش از ۴۵۰ معماری مدل مختلف را با APIهای یکپارچه پشتیبانی می‌کند. طراحی این کتابخانه بر این اصل استوار است که پیاده‌سازی مدل‌ها خوداتکا، شفاف و قابل فهم باشد تا مشارکت‌کنندگان بتوانند به‌آسانی معماری‌های جدید را درک کنند و آن‌ها را به فریم‌ورک‌های دیگری مانند vLLM، SGLang، MLX و llama.cpp منتقل نمایند.
در تازه‌ترین اقدام خود، Hugging Face اعلام کرده است که بک‌اند مدل‌سازی transformers در موتور استنتاج vLLM به‌جایی رسیده که برای معماری‌های زبانی بزرگ متعدد، سرعتی برابر یا حتی فراتر از پیاده‌سازی‌های اختصاصی vLLM ارائه می‌دهد. این تحول به این معناست که نویسندگان مدل‌ها می‌توانند به‌صورت خودکار از پیاده‌سازی‌های transformers خود برای دستیابی به استنتاج فوق‌سریع vLLM بهره‌مند شوند — و این یعنی کاهش چشمگیر زمان و هزینه توسعه.
چگونه سرعت بومی vLLM اندازه‌گیری شد؟
تیم Hugging Face برای سنجش دقیق عملکرد بک‌اند جدید، بنچمارک‌های جامعی روی معماری‌های مختلف زبانی بزرگ اجرا کردند. نتایج نشان می‌دهد که بک‌اند transformers در vLLM نه‌تنها از نظر سرعت با پیاده‌سازی‌های دستی رقابت می‌کند، بلکه در برخی معماری‌ها عملکرد بهتری نیز از خود نشان می‌دهد. این مقایسه شامل معیارهایی مانند توان عملیاتی توکن‌های خروجی (throughput) و تأخیر پاسخ (latency) بوده است.
نکته کلیدی آن است که این بهینه‌سازی بدون نیاز به بازنویسی دستی کد مدل توسط توسعه‌دهندگان انجام شده؛ یعنی هر تغییری که نویسنده یک مدل در کتابخانه transformers اعمال کند، به‌صورت خودکار در عملکرد استنتاج vLLM نیز منعکس خواهد شد.
سازوکار فنی و مکانیزم عملکرد بالا
در سال گذشته، vLLM با ادغام transformers به‌عنوان یک بک‌اند مدل‌سازی بومی، گام مهمی برداشت. این یکپارچه‌سازی به توسعه‌دهندگان اجازه می‌دهد که مدل‌های خود را مستقیماً از طریق کتابخانه transformers در vLLM اجرا کنند. اکنون با بهینه‌سازی‌های انجام‌شده، این مسیر نه‌تنها آسان‌تر شده، بلکه به سطح عملکردی رسیده که با پیاده‌سازی‌های اختصاصی و دستی vLLM قابل رقابت است.
مزایای کلیدی این رویکرد عبارتند از:
- حذف نیاز به بازنویسی و پورت مدل‌ها به vLLM به‌صورت دستی
- کاهش بار نگهداری کد برای نویسندگان مدل‌ها
- بهره‌مندی خودکار از بهینه‌سازی‌های بعدی transformers در vLLM
- افزایش سرعت استنتاج بدون افزایش هزینه توسعه
به‌روزرسانی آسان برای توسعه‌دهندگان
برای استفاده از این قابلیت جدید، تنها کافی است بسته pip مربوط به vLLM به‌روزرسانی شود. با اجرای فرمان زیر، توسعه‌دهندگان می‌توانند از آخرین بهینه‌سازی‌های بک‌اند transformers بهره‌مند شوند:
uv pip install --upgrade vllm --torch-backend auto
این اقدام Hugging Face در راستای رسالت اصلی این شرکت یعنی پیشبرد و دموکراتیک‌سازی هوش مصنوعی از طریق منبع‌باز و علم باز انجام شده است. با حذف موانع فنی میان کتابخانه transformers و موتور استنتاج vLLM، زنجیره توسعه مدل‌های زبانی بزرگ ساده‌تر و کارآمدتر از همیشه شده است.
