اخبار
آموزش سریعتر و ارزانتر مدلهای هوش مصنوعی با PyTorch و TPU
با جدیدترین یکپارچهسازی PyTorch/XLA و Hugging Face، مدلهای هوش مصنوعی را بدون تغییر در رابط Trainer روی Cloud TPU سریعتر و ارزانتر آموزش دهید.
مدلها
افزایش ۱۰ درصدی سرعت مدلهای TensorFlow در ترنسفورمرز هوگینگ فیس
هوگینگ فیس با بهینهسازی مدل BERT در کتابخانه ترنسفورمرز، عملکرد TensorFlow Serving را تا ۱۰ درصد نسبت به پیادهسازی رسمی گوگل بهبود بخشید و سرعت را نسبت به نسخه قبلی دو برابر کرد.
آموزش
هوش مصنوعی و بهینهسازی حافظه: معرفی ZeRO با DeepSpeed و FairScale
با رشد مدلهای بزرگ، حافظه GPU پاسخگو نیست. ZeRO در DeepSpeed و FairScale راهکاری برای آموزش سریعتر و بهینهسازی مصرف حافظه است.
پژوهش
گرمآغاز کردن مدلهای Encoder-Decoder با هوش مصنوعی؛ راهکاری برای بهبود عملکرد
در این مقاله از وبلاگ هوما، روش گرمآغاز کردن مدلهای زبانی Encoder-Decoder با استفاده از checkpointهای BERT و GPT2 بررسی میشود. این تکنیک در ترجمه ماشینی، خلاصهسازی و سایر وظایف seq2seq عملکرد بهتری به ارمغان میآورد.
مدلها
انتقال مدل ترجمه WMT19 به Transformers؛ دموکراتیک کردن هوش مصنوعی
در این مقاله مرور میکنیم که چگونه سیستم ترجمه WMT19 فیسبوک به کتابخانه متنباز Transformers منتقل شد؛ گامی مهم در مسیر دسترسی آزاد و دموکراتیک به هوش مصنوعی.
آموزش
بهینهسازی فراپارامتر در ترنسفورمر با Ray Tune؛ راهنمای عملی
با Ray Tune، تنظیم فراپارامتر مدلهای ترنسفورمر را هوشمندانه انجام دهید و عملکرد مدل را بدون از دست دادن انعطافپذیری بهبود بخشید.
مدلها
مدلهای Encoder-Decoder مبتنی بر ترنسفورمر؛ چگونه هوش مصنوعی متن میفهمد؟
در این مقاله به بررسی عمیق معماری ترنسفورمری Encoder-Decoder میپردازیم؛ مدلی که پایهگذار نسل جدید سیستمهای هوش مصنوعی در پردازش زبان طبیعی و تولید محتوا است.