کسبوکار
هوش مصنوعی در دامنه داخلی: Dell Enterprise Hub برای آموزش و استقرار مدلهای باز
دستگاههای Dell Enterprise Hub روی پلتفرم Hugging Face برای آموزش و استقرار مدلهای هوش مصنوعی باز و امن در سرورهای داخلی شرکتها معرفی میشود.
پژوهش
GaLore: آموزش مدلهای زبانی بزرگ روی سختافزار مصرفی با هوش مصنوعی
تکنیک نوین GaLore با کاهش شدید مصرف حافظه در حالتهای بهینهساز، امکان آموزش مدلهای زبانی چند miljard پارامتری را روی کارتهای گرافیک معمولی و ارزانیتر برای پژوهشگران فراهم میکند.
اخبار
مسابقه AMD Pervasive AI؛ توسعه هوش مصنوعی با سختافزار رایگان
AMD با همکاری Hugging Face مسابقه جهانی Pervasive AI را برگزار میکند. توسعهدهندگان با دریافت سختافزار رایگان در سه دسته رقابت میکنند و تا ۱۰ هزار دلار جایزه میبرند.
سختافزار
هوش مصنوعی: سرعت جاندادانهای برای Llama 2 روی AWS Inferentia2
AWS Inferentia2 با همکاری Hugging Face و optimum‑neuron، Llama 2 را برای تولید متن به سرعتی بیسابقه بر روی سرورها میشکند. در این مقاله نقشه راه و نتایج آزمایشات را بررسی میکنیم.
پژوهش
هوش مصنوعی: خوشگذرینه تخصیص منابع برای fine-tuning Llama 2 70B در پایتورچ
Fine‑tuning مدل Llama‑2 70B را با PyTorch FSDP در هستهٔ هوش مصنوعی هدفگذاری کردهایم. از طریق واریسهای سفارشی، چالشهای سختافزاری و الگوریتمهای تقسیم پارامترها بهصورت دقیق در SLURM، بهحرفهای مدل را آموزش میدهیم.
سختافزار
هوش مصنوعی با سرعت دو برابر: BridgeTower در قلهی Habana Gaudi2
BridgeTower به کمک سختافزار Habana Gaudi2، سرعت دو برابر در آموزش مدل دید و زبان دستیافت، قطر فاصلهی پردازش بین A100 و H100 را کاهش داد.
سختافزار
همکاری Hugging Face و AMD برای تسریع مدلهای پیشرفته برای پلتفرمهای CPU و GPU
ما در مسیر پیشرفت و دموکراتیزه کردن هوش مصنوعی از طریق متنباز و علم آزاد هستیم.
مدلها
کوانتیزاسیون ۴-بیتی و QLoRA؛ گامی بلند در دسترسپذیری هوش مصنوعی
با همکاری Hugging Face و کتابخانه bitsandbytes، مدلهای زبانی بزرگ اکنون با دقت ۴-بیتی روی سختافزار معمولی اجرا شده و امکان آموزش تطبیقگرها با QLoRA فراهم شده است.
پژوهش
سرعتگذاری مدلهای ترنسفورمر به کمک AWS Inferentia2 در هوش مصنوعی
AWS Inferentia2، سختافزار جدید ابری، توانایی شتابزدهسازی مدلهای ترنسفورمر هفینگ فیس را افزایش داده و هزینههای اجرایی را به شکل چشمگیری کاهش میدهد. انطباق با پلتفرم هفینگ فیس امکان استفاده آسان از ترنسفورمری را در پروژههای عملی فراهم میکند.
پژوهش
هوش مصنوعی پیشرفته: PEFT با پارامترهای کم برای مدلهای میلیاردی و نرمافزار متنباز
PEFT، روشی نوین در فاینتینینگ مدلهای بزرگ، امکان آموزش با پارامترهای محدود و سختافزار کمسرمایه را میآورد؛ این مقاله به مفاهیم، کاربردها و نکات کلیدی آن میپردازد.