سختافزار
تجسم و درک حافظه GPU در PyTorch
ما در مسیر پیشرفت و دموکراتیزه کردن هوش مصنوعی از طریق متنباز و علم آزاد هستیم.
پژوهش
هوش مصنوعی: خوشگذرینه تخصیص منابع برای fine-tuning Llama 2 70B در پایتورچ
Fine‑tuning مدل Llama‑2 70B را با PyTorch FSDP در هستهٔ هوش مصنوعی هدفگذاری کردهایم. از طریق واریسهای سفارشی، چالشهای سختافزاری و الگوریتمهای تقسیم پارامترها بهصورت دقیق در SLURM، بهحرفهای مدل را آموزش میدهیم.
پژوهش
هوش مصنوعی در اپل: Swift Transformers برای اجرای LLMهای بر دستگاه
Hugging Face با انتشار Swift Transformers، امکان اجرای LLMهای بزرگ بر روی دستگاههای اپل را فراهم میکند؛ تبدیل مدلهای PyTorch به Core ML را ساده میسازد.
سختافزار
سرعت inference PyTorch با پردازندهٔ Intel Sapphire Rapids برتر
در این مقاله، سرعت inference مدلهای NLP بر پایه PyTorch را در سرورهای Intel Sapphire Rapids و Ice Lake میسنجیم و نکات عملی برای بهرهبرداری را بررسی میکنیم.
سختافزار
هوش مصنوعی در سرورهای Intel Sapphire Rapids: 2 برابری سرعت یادگیری ماشین
سرورهای جدید Intel Sapphire Rapids با دستورات ویژهی متریس پیشرفته، یادگیری عمیق در PyTorch را دو برابری سرعت میکنند. در این مقاله، به تفصیل بهینهسازیهای IPEX و CCL پرداخته میشود.
آموزش
تسلط بر آموزش توزیعشده در هوش مصنوعی با PyTorch DDP و Accelerate
در این مقاله مراحل آموزش توزیعشده با PyTorch DDP و ابزارهای Accelerate و Trainer بررسی میشود، بهمنظور تسهیل فراگیری توسعه مدلهای هوش مصنوعی بزرگ.
پژوهش
هوش مصنوعی در حالتهای سرعت: بهینهسازی دقت بالا در BLOOM با Hugging Face
در این گزارش، تیمهای Open Source بهینهسازی سرور پیشبینی مدل BLOOM را انجام دادند؛ عملکرد 5 برابر سریعتر و 50 برابر قدرتمندتر بهدست آمد.
محصولات
هوش مصنوعی در دسترس: Accelerate مدلهای عظیم را بر روی Colab اجرا میکند
Accelerate ابزارنگاری شده توسط Hugging Face میتواند مدلهای بزرگ زبان را بر روی سختافزار محدود مثل Colab اجرا کند. این راهکار منجر به دموکراتیزهسازی هوش مصنوعی شد.
پژوهش
هوش مصنوعی: گسترش الگوریتم گریدینت سیاست با PyTorch بر روی پلتفرم Hugging Face
در این مقاله به بررسی کاربرد Policy Gradient در PyTorch میپردازیم، این مسیر یادگیری تقویتی را در چارچوب تجاری و متن باز Hugging Face معرفی میکنیم و نکات عملی و کلیدی را برای توسعهگران بیان میکنیم.
پژوهش
هوش مصنوعی در همگامی: fastai داکار میشود به هاب Hugging Face برای اشتراکگذاری مدلهای عمیق
fastai حالا میتواند مدلهای خود را با چند خط کد در هاب هافینگ فِی آپلود کند و در جامعهی هوش مصنوعی ماجرای جدیدی آغاز شد؛ امکان اشتراکگذاری مدلهای عمیق را فراهم آورد.