مدلها
کوانتو؛ بکاند کوانتیزهسازی پایتورچ برای استقرار مدلهای هوش مصنوعی
کوانتو یک بکاند کوانتیزهسازی برای پایتورچ است که توسط Hugging Face برای کاهش مصرف حافظه و افزایش سرعت پردازش مدلهای هوش مصنوعی معرفی شده است.
مدلها
بهینهسازی مدلهای جاسازی هوش مصنوعی روی CPU با Optimum Intel و fastRAG
روش جدید بهینهسازی مدلهای جاسازی (Embedding) با ابزار Optimum Intel و fastRAG برای اجرای سریع و کمهزینه روی پردازنده مرکزی، بدون افت کیفیت.
مدلها
PEFT روشهای جدیدی برای ادغام مدلهای هوش مصنوعی معرفی کرد
کتابخانه PEFT هگز فیس با افزودن روشهای جدید ادغام LoRA مانند TIES و DARE، مسیر بهینهسازی مدلهای زبانی بزرگ را هموارتر کرد. با این تکنیکها، مدلهای قدرتمندتری با مصرف حافظه کمتر بسازید.
سختافزار
هوش مصنوعی بر روی Cloud TPU v5e: سرعتبخشی SDXL با JAX
کشف روش جدیدی برای پردازش مدل Stable Diffusion XL با بهرهگیری از JAX بر روی Google Cloud TPU v5e؛ بهبود کارایی، کاهش هزینه و افزایش سرعت تولید تصویر عالی در شرایط واقعی.
پژوهش
هوش مصنوعی در عمل: روشهای بهینهسازی مدلهای زبان بزرگ
با بهرهگیری از تکنیکهای Flash Attention، حافظهی مبتنی بر کلید-مقدار و بهبود جاسازهای موقعیتی، مدلهای زبان بزرگ را میتوان در محیطهای تولیدی بهینهتر استفاده کرد.
پژوهش
هوش مصنوعی: خوشگذرینه تخصیص منابع برای fine-tuning Llama 2 70B در پایتورچ
Fine‑tuning مدل Llama‑2 70B را با PyTorch FSDP در هستهٔ هوش مصنوعی هدفگذاری کردهایم. از طریق واریسهای سفارشی، چالشهای سختافزاری و الگوریتمهای تقسیم پارامترها بهصورت دقیق در SLURM، بهحرفهای مدل را آموزش میدهیم.
پژوهش
بهینهسازی مدلهای LLM با AutoGPTQ: راه حل هوش مصنوعی سبکوزن
Hugging Face با ادغام AutoGPTQ در Transformers، مدلهای زبانی بزرگ را برای کاربران، پژوهشگران و توسعهدهندگان سبکتر و مقرون به صرفهتر میکند.
مدلها
بهینهسازی Bark با 🤗 Transformers: صدای واضح و سریعترین زمان
مطالعه جدید Hugging Face پردازش سریعتر و مصرف کمتر حافظه مدل Bark را با ابزارهای Transformers، Optimum و Accelerate توضیح میدهد؛ سهمرحله ساده برای عملکرد برتر.
پژوهش
هوش مصنوعی در آموزش Diffusion: روش LoRA برای بهینهسازی ثبات تصویر
فنی ترین روشهای بهینهسازی مدلهای بزرگ هوش مصنوعی، LoRA، به کمک فناوری Stable Diffusion، شفاف و سریعتر امکان آموزش مدلها را فراهم میکند.
مدلها
هوش مصنوعی: چگونه مدلهای Sentence Transformer را آموزش و بهینهسازی کنیم
مقالهای جامع درباره آموزش و بهینهسازی مدلهای Sentence Transformer، نکات کلیدی، راهنمای عملی و روشهای انتقال دانش مدل به محیطهای تولیدی در حوزه هوش مصنوعی.