سختافزار
راهنمای بهینهسازی هوش مصنوعی: افزایش کارایی مدل BERT روی CPU
در دنیای هوش مصنوعی، اجرای مدلهای زبانی روی CPU نیازمند بهینهسازی است. این مقاله از Hugging Face روشهای افزایش توان عملیاتی و کاهش تأخیر را بررسی میکند.
اخبار
چگونه با هوش مصنوعی سرعت استنتاج ترنسفورمرها را ۱۰۰ برابر کردیم؟
هافینگ فیس با ترکیب تکنیک های بهینه سازی و کامپایلرهای تخصصی، استنتاج ترنسفورمرها را برای مشتریان API خود ۱۰۰ برابر سریع تر کرد. در این مقاله بررسی می کنیم.
پژوهش
گرمآغاز کردن مدلهای Encoder-Decoder با هوش مصنوعی؛ راهکاری برای بهبود عملکرد
در این مقاله از وبلاگ هوما، روش گرمآغاز کردن مدلهای زبانی Encoder-Decoder با استفاده از checkpointهای BERT و GPT2 بررسی میشود. این تکنیک در ترجمه ماشینی، خلاصهسازی و سایر وظایف seq2seq عملکرد بهتری به ارمغان میآورد.
مدلها
مدلهای Encoder-Decoder مبتنی بر ترنسفورمر؛ چگونه هوش مصنوعی متن میفهمد؟
در این مقاله به بررسی عمیق معماری ترنسفورمری Encoder-Decoder میپردازیم؛ مدلی که پایهگذار نسل جدید سیستمهای هوش مصنوعی در پردازش زبان طبیعی و تولید محتوا است.
مدلها
هوش مصنوعی و Reformer: پردازش دنبالههای نیم میلیون توکنی با ۸ گیگابایت
مدل Reformer با مصرف تنها ۸ گیگابایت حافظه، نیم میلیون توکن را آموزش میبیند و برای پردازش دنبالههای طولانی کارآمد است. در این مقاله بررسی میشود.
آموزش
تولید متن با هوش مصنوعی: بررسی روشهای Decoding در مدلهای زبانی
در این مقاله از وبلاگ هوما، روشهای مختلف تولید متن با مدلهای زبانی مانند جستجوی حریصانه، beam search، sampling و top-p را بررسی میکنیم و نحوه پیادهسازی آنها را با کتابخانه transformers یاد میگیریم.