ویژگی‌های جدید Llama 3.1

Meta به همراه Hugging Face نسخه‌ای نوین از مدل‌های زبانی Llama را معرفی کرد که در تعداد پارامترهای سه گانه 8B، 70B و 405B عرضه می‌شود. این نسخه تازه، تمرکز بر روی دسترسی باز، توزیع منبع آزاد و امکانات پیشرفته‌ای چون چندزبانه‌‎یی و حافظه بلند دارد.

حافظه و بهره‌وری مدل‌ها

مدل 8B به‌عنوان نسخهٔ کم‌هزینه، در حافظهٔ 16GB VRAM قابل اجرا بود، در حالی که 70B و 405B نیاز به 32GB تا 48GB دارند. با استفاده از طرح‌های فشرده‌سازی مثل FP8 و AWQ، می‌توان مصرف حافظه را تا 30 درصد کاهش داد.

امکانات پردازش چندزبانه و زمینه بلند

Llama 3.1 به‌طور پیش‌فرض به بیش از 200 زبان پشتیبانی می‌کند و می‌تواند متن‌های طولانی تا 32,000 token را پردازش کند، که این ویژگی در زمینه‌های موتورهای جستجو و تولید محتوا مفید است.

یکپارچگی‌های آماده و یادگیری مستمر

مدل به‌صورت یکتای Tensor نام برده شده با Hugging Face Transformers قابل بارگذاری است. همچنین سرویس Hugging Face Inference API و نقاط انتهایی (Endpoints) امکان اجرای مدل‌ها را در سرویس‌های ابری فراهم می‌کنند.

فرصت‌های شخصی‌سازی

با استفاده از TRL و distilabel، کاربران می‌توانند مدل را برای کارهای خاصی مثل پاسخ‌گویی، ترجمه و خلاصه‌سازی آموزش دهند. ابزارهای داخلی مانند Built‑in Tool Calling در دسترس هستند.

  • نسخه‌های 8B، 70B و 405B با ساختار سه‌گانه سهوی
  • دستگاه‌های چندزبانه با پشتیبانی از بیش از 200 زبان
  • حافظه بلند تا 32,000 token
  • قابلیت فشرده‌سازی با FP8، AWQ و GPTQ
  • یکپارچه‌سازی با Hugging Face Inference API و Endpoints
  • پشتیبانی از fine‑tuning در محیط TRL و synthetic data generation

پرسش‌های پرتکرار

چه اندازه حافظه برای اجرای Llama 3.1 در نسخه‌های مختلف لازم است؟

مقدار حافظه انحصاری بستگی به سایز مدل دارد. برای 8B حدود 16GB VRAM کافی است، در حالی که نسخه 70B و 405B به ترتیب از 32GB تا 48GB VRAM بهره‌مند می‌شوند. با روش‌های فشرده‌سازی می‌توان مصرف را کاهش داد.

چگونه می‌توانم Llama 3.1 را در برنامه‌ام به‌کار ببرم؟

از کتابخانهٔ Hugging Face Transformers برای بارگذاری مدل به صورت بهینه استفاده کنید. سپس می‌توانید از Hugging Face Inference API یا نقاط انتهایی (Endpoints) برای اجرای مدل در سرویس ابری بهره ببرید.