مدلها
افزایش ۱۰ درصدی سرعت مدلهای TensorFlow در ترنسفورمرز هوگینگ فیس
هوگینگ فیس با بهینهسازی مدل BERT در کتابخانه ترنسفورمرز، عملکرد TensorFlow Serving را تا ۱۰ درصد نسبت به پیادهسازی رسمی گوگل بهبود بخشید و سرعت را نسبت به نسخه قبلی دو برابر کرد.
پژوهش
گرمآغاز کردن مدلهای Encoder-Decoder با هوش مصنوعی؛ راهکاری برای بهبود عملکرد
در این مقاله از وبلاگ هوما، روش گرمآغاز کردن مدلهای زبانی Encoder-Decoder با استفاده از checkpointهای BERT و GPT2 بررسی میشود. این تکنیک در ترجمه ماشینی، خلاصهسازی و سایر وظایف seq2seq عملکرد بهتری به ارمغان میآورد.
مدلها
انتقال مدل ترجمه WMT19 به Transformers؛ دموکراتیک کردن هوش مصنوعی
در این مقاله مرور میکنیم که چگونه سیستم ترجمه WMT19 فیسبوک به کتابخانه متنباز Transformers منتقل شد؛ گامی مهم در مسیر دسترسی آزاد و دموکراتیک به هوش مصنوعی.
آموزش
بهینهسازی فراپارامتر در ترنسفورمر با Ray Tune؛ راهنمای عملی
با Ray Tune، تنظیم فراپارامتر مدلهای ترنسفورمر را هوشمندانه انجام دهید و عملکرد مدل را بدون از دست دادن انعطافپذیری بهبود بخشید.
مدلها
مدلهای Encoder-Decoder مبتنی بر ترنسفورمر؛ چگونه هوش مصنوعی متن میفهمد؟
در این مقاله به بررسی عمیق معماری ترنسفورمری Encoder-Decoder میپردازیم؛ مدلی که پایهگذار نسل جدید سیستمهای هوش مصنوعی در پردازش زبان طبیعی و تولید محتوا است.
مدلها
بهینهسازی مدلهای زبانی با ماتریسهای اسپارس بلوکی در هوش مصنوعی
آشنایی با pytorch_block_sparse، ابزار جدید Hugging Face برای کاهش حجم و افزایش سرعت مدلهای زبانی با بهرهگیری از ماتریسهای اسپارس بلوکی.