محصولات
هوش مصنوعی با GPT‑OSS: فست ترنسفورمرها جدید و راهکارهای تحویل سریع
به‌روزرسانی‌های مهم در کتابخانه transformers برای مدل‌های GPT‑OSS از OpenAI – کواانتیزه‌سازی MXFP4، Flash Attention 3 و پارالل‌سازی Tensor – راهنمای عملی برای توسعه‌دهندگان و محققان
پژوهش
هوش مصنوعی در Hugging Face: افزایش سرعت آموزش تا ۲ برابر با Flash Attention 2
Hugging Face با به‌روزرسانی Flash Attention 2، امکان آموزش مدل‌های هوش مصنوعی را تا دو برابر سرعت می‌دهد. با پیک‌کردن نمونه‌ها بدون پر کردن و بهره‌گیری از DataCollatorWithFlattening، کارایی در حین حفظ کیفیت همواری به حداکثر می‌رسد.
پژوهش
هوش مصنوعی در عمل: روش‌های بهینه‌سازی مدل‌های زبان بزرگ
با بهره‌گیری از تکنیک‌های Flash Attention، حافظه‌ی مبتنی بر کلید-مقدار و بهبود جاسازهای موقعیتی، مدل‌های زبان بزرگ را می‌توان در محیط‌های تولیدی بهینه‌تر استفاده کرد.
مدل‌ها
AudioLDM 2: سرعت و کیفیت در تولید صدا با هوش مصنوعی در سیستم‌های آموزشی
AudioLDM 2 به‌نرم‌افزار Hugging Face معرفی شد، با بهینه‌سازی‌های Flash Attention، نصف‑دقت، Torch Compile و تنظیمات شیودار، زمان تولید صدا را تا 10× کاهش می‌دهد.
پژوهش
هوش مصنوعی در حالت‌های سرعت: بهینه‌سازی دقت بالا در BLOOM با Hugging Face
در این گزارش، تیم‌های Open Source بهینه‌سازی سرور پیش‌بینی مدل BLOOM را انجام دادند؛ عملکرد 5 برابر سریع‌تر و 50 برابر قدرتمندتر به‌دست آمد.