پژوهش
هوش مصنوعی در دسترس: معرفی Optimum، ابزار بهینهسازی ترنسفورمرها
Optimum، کتابخانهٔ متنباز Hugging Face، بهوسیلهٔ تکنیکهای کمیتسازی و بهینهسازی، اجرای سریع و مقرون به صرفه ترنسفورمرها را در سختافزارهای مختلف امکانپذیر میسازد.
سختافزار
راهنمای بهینهسازی هوش مصنوعی: افزایش کارایی مدل BERT روی CPU
در دنیای هوش مصنوعی، اجرای مدلهای زبانی روی CPU نیازمند بهینهسازی است. این مقاله از Hugging Face روشهای افزایش توان عملیاتی و کاهش تأخیر را بررسی میکند.
مدلها
افزایش ۱۰ درصدی سرعت مدلهای TensorFlow در ترنسفورمرز هوگینگ فیس
هوگینگ فیس با بهینهسازی مدل BERT در کتابخانه ترنسفورمرز، عملکرد TensorFlow Serving را تا ۱۰ درصد نسبت به پیادهسازی رسمی گوگل بهبود بخشید و سرعت را نسبت به نسخه قبلی دو برابر کرد.
آموزش
هوش مصنوعی و بهینهسازی حافظه: معرفی ZeRO با DeepSpeed و FairScale
با رشد مدلهای بزرگ، حافظه GPU پاسخگو نیست. ZeRO در DeepSpeed و FairScale راهکاری برای آموزش سریعتر و بهینهسازی مصرف حافظه است.
اخبار
چگونه با هوش مصنوعی سرعت استنتاج ترنسفورمرها را ۱۰۰ برابر کردیم؟
هافینگ فیس با ترکیب تکنیک های بهینه سازی و کامپایلرهای تخصصی، استنتاج ترنسفورمرها را برای مشتریان API خود ۱۰۰ برابر سریع تر کرد. در این مقاله بررسی می کنیم.
آموزش
بهینهسازی فراپارامتر در ترنسفورمر با Ray Tune؛ راهنمای عملی
با Ray Tune، تنظیم فراپارامتر مدلهای ترنسفورمر را هوشمندانه انجام دهید و عملکرد مدل را بدون از دست دادن انعطافپذیری بهبود بخشید.
مدلها
بهینهسازی مدلهای زبانی با ماتریسهای اسپارس بلوکی در هوش مصنوعی
آشنایی با pytorch_block_sparse، ابزار جدید Hugging Face برای کاهش حجم و افزایش سرعت مدلهای زبانی با بهرهگیری از ماتریسهای اسپارس بلوکی.