آموزش
آموزش دقیق Wav2Vec2 برای تشخیص گفتار انگلیسی با هوش مصنوعی
در این مقاله از بلاگ هوش مصنوعی هما، نحوه تنظیم دقیق مدل Wav2Vec2 برای تشخیص خودکار گفتار انگلیسی با کتابخانه Transformers آموزش داده میشود.
پژوهش
هوش مصنوعی در خواندن متنهای طولانی: معرفی ترنسفورمهای بلنددامنه
در این مقاله از سری خواندنیهای هوش مصنوعی، به معرفی ترنسفورمهای بلنددامنه و راهکارهای کاهش پیچیدگی محاسباتی برای پردازش متنهای طولانی میپردازیم.
مدلها
هوش مصنوعی با RAG و Ray: افزایش سرعت بازیابی متن تا ۲ برابر
با ترکیب RAG و Ray، سرعت بازیابی اسناد در مدلهای زبانی هوش مصنوعی تا ۲ برابر افزایش یافته و مقیاسپذیری تنظیم دقیق توزیعشده نیز بهطور چشمگیری بهبود مییابد.
اخبار
آموزش سریعتر و ارزانتر مدلهای هوش مصنوعی با PyTorch و TPU
با جدیدترین یکپارچهسازی PyTorch/XLA و Hugging Face، مدلهای هوش مصنوعی را بدون تغییر در رابط Trainer روی Cloud TPU سریعتر و ارزانتر آموزش دهید.
مدلها
افزایش ۱۰ درصدی سرعت مدلهای TensorFlow در ترنسفورمرز هوگینگ فیس
هوگینگ فیس با بهینهسازی مدل BERT در کتابخانه ترنسفورمرز، عملکرد TensorFlow Serving را تا ۱۰ درصد نسبت به پیادهسازی رسمی گوگل بهبود بخشید و سرعت را نسبت به نسخه قبلی دو برابر کرد.
آموزش
هوش مصنوعی و بهینهسازی حافظه: معرفی ZeRO با DeepSpeed و FairScale
با رشد مدلهای بزرگ، حافظه GPU پاسخگو نیست. ZeRO در DeepSpeed و FairScale راهکاری برای آموزش سریعتر و بهینهسازی مصرف حافظه است.
پژوهش
گرمآغاز کردن مدلهای Encoder-Decoder با هوش مصنوعی؛ راهکاری برای بهبود عملکرد
در این مقاله از وبلاگ هوما، روش گرمآغاز کردن مدلهای زبانی Encoder-Decoder با استفاده از checkpointهای BERT و GPT2 بررسی میشود. این تکنیک در ترجمه ماشینی، خلاصهسازی و سایر وظایف seq2seq عملکرد بهتری به ارمغان میآورد.