آموزش
آموزش توزیعشده مدلهای هوش مصنوعی BART و T5 برای خلاصهسازی با SageMaker
در این مقاله با آموزش توزیعشده مدلهای BART و T5 برای خلاصهسازی متن با استفاده از SageMaker آشنا میشوید. مراحل راهاندازی کاملاً گفته شده است.
اخبار
همکاری استراتژیک آمازون و هافینگ فیس برای سادهسازی هوش مصنوعی
همکاری جدید آمازون و هافینگ فیس، آموزش و استقرار مدلهای پیشرفته هوش مصنوعی را با ساگمیکر سادهتر میکند. مزایای این مشارکت و امکانات آن را بخوانید.
پژوهش
هوش مصنوعی در خواندن متنهای طولانی: معرفی ترنسفورمهای بلنددامنه
در این مقاله از سری خواندنیهای هوش مصنوعی، به معرفی ترنسفورمهای بلنددامنه و راهکارهای کاهش پیچیدگی محاسباتی برای پردازش متنهای طولانی میپردازیم.
مدلها
هوش مصنوعی با RAG و Ray: افزایش سرعت بازیابی متن تا ۲ برابر
با ترکیب RAG و Ray، سرعت بازیابی اسناد در مدلهای زبانی هوش مصنوعی تا ۲ برابر افزایش یافته و مقیاسپذیری تنظیم دقیق توزیعشده نیز بهطور چشمگیری بهبود مییابد.
مدلها
افزایش ۱۰ درصدی سرعت مدلهای TensorFlow در ترنسفورمرز هوگینگ فیس
هوگینگ فیس با بهینهسازی مدل BERT در کتابخانه ترنسفورمرز، عملکرد TensorFlow Serving را تا ۱۰ درصد نسبت به پیادهسازی رسمی گوگل بهبود بخشید و سرعت را نسبت به نسخه قبلی دو برابر کرد.
آموزش
هوش مصنوعی و بهینهسازی حافظه: معرفی ZeRO با DeepSpeed و FairScale
با رشد مدلهای بزرگ، حافظه GPU پاسخگو نیست. ZeRO در DeepSpeed و FairScale راهکاری برای آموزش سریعتر و بهینهسازی مصرف حافظه است.
پژوهش
گرمآغاز کردن مدلهای Encoder-Decoder با هوش مصنوعی؛ راهکاری برای بهبود عملکرد
در این مقاله از وبلاگ هوما، روش گرمآغاز کردن مدلهای زبانی Encoder-Decoder با استفاده از checkpointهای BERT و GPT2 بررسی میشود. این تکنیک در ترجمه ماشینی، خلاصهسازی و سایر وظایف seq2seq عملکرد بهتری به ارمغان میآورد.
آموزش
بهینهسازی فراپارامتر در ترنسفورمر با Ray Tune؛ راهنمای عملی
با Ray Tune، تنظیم فراپارامتر مدلهای ترنسفورمر را هوشمندانه انجام دهید و عملکرد مدل را بدون از دست دادن انعطافپذیری بهبود بخشید.