معرفی جدید
در تاریخ 11 دسامبر 2025، تیم ggml-org نسخه‌ای را از سرور llama.cpp منتشر کرد که قابلیت مدیریت مدل‌ها را به‌صورت کاملاً پویا اضافه می‌کند. این به‌روزرسانی، یک مکانیزم جدید به نام router mode به سرور اضافه می‌کند که به کاربران اجازه می‌دهد مدل‌ها را بدون نیاز به ریستارت سرور بارگذاری و یا آزادسازی کنند.
چرا این ویژگی مهم است؟
مدل‌های یادگیری ماشین، به‌خصوص LLMها، حافظه‌ی وی‌ری‌ام قابل توجهی مصرف می‌کنند. در پروژه‌های تحقیقاتی یا تولیدی که نیاز به تعامل چندین مدل در یک زمان دارند، امکان قطع ناپذیری و استقلال هر مدل بسیار حیاتی است. ویژگی router mode، با معماری چند‌پردازشی، این امکان را فراهم می‌کند که هر مدل در یک روند جداگانه اجرا شود، و در صورت ورشکستگی یک مدل، سیستم کل به‌داخل نشود.
ویژگی‌های کلیدی
- بارگذاری/حذف مدل به‌صورت فوري و بدون اRestart سرور
- معماری چند‌پردازشی برای حتی‌کاهش خطاهای موازی
- حفظ و خودکار شناسایی مدل‌های موجود در پوشه راجوعه LLAMA_CACHE یا ~/.cache/llama.cpp
- امکان فعال‌سازی از خط فرمان یا رابط وب UI
- یکپارچه‌سازی روی واسط OpenAI API سازگار برای راحتی توسعه دهندگان
نحوه استفاده در محیط‌های توسعه
برای دسترسی به مدل‌های جدید می‌توانید از دستور llama-server -hf user/model استفاده کنید؛ مدل دانلود شده در پوشه محلی شما ذخیره می‌شود و پس از آن در بازه‌های بعدی به‌صورت خودکار شناسایی می‌شود. از طریق رابط وب UI، می‌توانید لیست موجود مدل‌ها را مشاهده کنید و به‌تعویض مدل میان اجرای‌های مختلف بروید.
پرسش‌های پرتکرار
چگونه می‌توانم یک مدل جدید را در llama.cpp بارگذاری کنم؟
فقط کافی است دستور <code>llama-server -hf user/model</code> را اجرا کنید تا مدل به صورت خودکار دانلود و در پوشه مشخص‌شده ذخیره شود؛ سپس با دستورات <code>llama-server list</code> و <code>llama-server load model_name</code> می‌توانید آن را در محیط اجرا فعال کنید.
آیا امکان استفاده همزمان چند مدل در یک سرور وجود دارد؟
بله، با فعال‌سازی <strong>router mode</strong> هر مدل در یک روند جداگانه اجرا می‌شود؛ این به شما اجازه می‌دهد تا به‌صورت همزمان چندین مدل را فعال، غیر فعال یا تغییر دهید بدون اینکه سرور را ریستارت کنید.
