چه چیزی Mixtral را متفاوت می‌کند؟

Mixtral از معماری 7B Mistral بهره می‌برد، اما با اضافه کردن 8 مدل تخصصی (experts) در یک ساختار MoE، قدرت پردازش را به طور چشمگیر افزایش می‌دهد.

سرعت و کارایی در ترکیب MoE

با انتخاب دو expert برای هر step، Mixtral سرعت ترنسفورمرهای 12B را بدست می‌آورد؛ در عین حال پارامترهای فعال فقط 4 برابر نسبت به مدل 7B می‌شود.

همگام‌سازی با امکانات Hugging Face

Mixtral در Hugging Face مستند، demo، inference و fine‑tuning آماده‌است. می‌توان از کتابخانه 🤗 Transformers برای بارگذاری آسان استفاده کرد.

  • توزیع بار بر روی 8 expert برای کاهش مصرف منابع
  • بارگذاری سریع با وزن‌های 4‑bit و GPTQ
  • یکپارچه‌سازی در کارفرمایان و سازمان‌های HF Enterprise

پرسش‌های پرتکرار

Mixtral چگونه با سرعت 12B کار می‌کند؟

Mixtral با انتخاب دو expert از میان هشت مدل، هر توکن را همان‌طور که در مدل 12B فعال می‌شود، پردازش می‌کند و در عین‌حال پارامترهای فعال را سل در 4× به 7B کاهش می‌دهد.

نحوه بارگذاری Mixtral در 🤗 Transformers چیست؟

با فراخوانی توابع مدل‌پیش‌ساخت <code>from_pretrained('mistralai/Mixtral-8x7B')</code> می‌توانید آن را به‌صورت زود و ساده در کدهای خود بارگذاری کنید.