سختافزار
همکاری هوش مصنوعی: Hugging Face و Graphcore برای تسریع ترنسفورمرها با IPU
پلتفرم جدید Graphcore IPU در همکاری با Hugging Face سرعت اجرای مدلهای ترنسفورمر پیشرفته را بدون کدنویسی پیچیده، در مقیاس تولید، افزایش داده و به توسعهدهندگان امکان میدهد بهسرعت مدلهای برتر را مستقر کنند.
مدلها
هوش مصنوعی با RAG و Ray: افزایش سرعت بازیابی متن تا ۲ برابر
با ترکیب RAG و Ray، سرعت بازیابی اسناد در مدلهای زبانی هوش مصنوعی تا ۲ برابر افزایش یافته و مقیاسپذیری تنظیم دقیق توزیعشده نیز بهطور چشمگیری بهبود مییابد.
مدلها
افزایش ۱۰ درصدی سرعت مدلهای TensorFlow در ترنسفورمرز هوگینگ فیس
هوگینگ فیس با بهینهسازی مدل BERT در کتابخانه ترنسفورمرز، عملکرد TensorFlow Serving را تا ۱۰ درصد نسبت به پیادهسازی رسمی گوگل بهبود بخشید و سرعت را نسبت به نسخه قبلی دو برابر کرد.
اخبار
چگونه با هوش مصنوعی سرعت استنتاج ترنسفورمرها را ۱۰۰ برابر کردیم؟
هافینگ فیس با ترکیب تکنیک های بهینه سازی و کامپایلرهای تخصصی، استنتاج ترنسفورمرها را برای مشتریان API خود ۱۰۰ برابر سریع تر کرد. در این مقاله بررسی می کنیم.
مدلها
بهینهسازی مدلهای زبانی با ماتریسهای اسپارس بلوکی در هوش مصنوعی
آشنایی با pytorch_block_sparse، ابزار جدید Hugging Face برای کاهش حجم و افزایش سرعت مدلهای زبانی با بهرهگیری از ماتریسهای اسپارس بلوکی.