مدل‌ها انتقال مدل ترجمه WMT19 به Transformers؛ دموکراتیک کردن هوش مصنوعی در این مقاله مرور می‌کنیم که چگونه سیستم ترجمه WMT19 فیسبوک به کتابخانه متن‌باز Transformers منتقل شد؛ گامی مهم در مسیر دسترسی آزاد و دموکراتیک به هوش مصنوعی. ۱۳ آبان ۱۳۹۹ ۲ دقیقه آموزش بهینه‌سازی فراپارامتر در ترنسفورمر با Ray Tune؛ راهنمای عملی با Ray Tune، تنظیم فراپارامتر مدل‌های ترنسفورمر را هوشمندانه انجام دهید و عملکرد مدل را بدون از دست دادن انعطاف‌پذیری بهبود بخشید. ۱۲ آبان ۱۳۹۹ ۲ دقیقه مدل‌ها مدل‌های Encoder-Decoder مبتنی بر ترنسفورمر؛ چگونه هوش مصنوعی متن می‌فهمد؟ در این مقاله به بررسی عمیق معماری ترنسفورمری Encoder-Decoder می‌پردازیم؛ مدلی که پایه‌گذار نسل جدید سیستم‌های هوش مصنوعی در پردازش زبان طبیعی و تولید محتوا است. ۱۹ مهر ۱۳۹۹ ۲ دقیقه پژوهش آموزش کم‌نمونه در هوش مصنوعی: معرفی GPT-3 و یادگیری چند نمونه‌ای مقاله‌ای درباره GPT-3 و مفهوم few-shot learning که نشان می‌دهد مدل‌های زبانی بزرگ چگونه با چند مثال، وظایف متنوع را بدون آموزش مجدد یاد می‌گیرند. ۸ خرداد ۱۳۹۹ ۲ دقیقه پژوهش پیشرفت الگوریتم‌ها؛ کاهش ۴۴ برابری نیاز محاسباتی هوش مصنوعی تحلیل جدید OpenAI نشان می‌دهد پیشرفت الگوریتم‌ها هر ۱۶ ماه نیاز محاسباتی مدل‌های هوش مصنوعی را نصف می‌کند و ۴۴ برابر کمتر از ۲۰۱۲ انرژی لازم است. ۱۶ اردیبهشت ۱۳۹۹ ۲ دقیقه آموزش تولید متن با هوش مصنوعی: بررسی روش‌های Decoding در مدل‌های زبانی در این مقاله از وبلاگ هوما، روش‌های مختلف تولید متن با مدل‌های زبانی مانند جستجوی حریصانه، beam search، sampling و top-p را بررسی می‌کنیم و نحوه پیاده‌سازی آن‌ها را با کتابخانه transformers یاد می‌گیریم. ۱۱ اسفند ۱۳۹۸ ۳ دقیقه اخبار اوپن‌ای‌آی پایتورچ را استاندارد کرد؛ تحولی در توسعه هوش مصنوعی اوپن‌ای‌آی با استانداردسازی فریم‌ورک یادگیری عمیق خود روی پایتورچ، مسیر توسعه مدل‌های هوش مصنوعی را هموارتر کرد. این تصمیم چه تأثیری بر آینده دارد؟ ۱۰ بهمن ۱۳۹۸ ۲ دقیقه پژوهش قوانین مقیاس‌پذیری مدل‌های زبانی؛ راز پیشرفت هوش مصنوعی تحقیقات OpenAI نشان می‌دهد عملکرد مدل‌های زبانی با افزایش داده، پارامترها و توان محاسباتی به شکلی قابل پیش‌بینی بهبود می‌یابد. این مقاله به بررسی این قوانین و پیامدهای آن برای آینده هوش مصنوعی می‌پردازد. ۳ بهمن ۱۳۹۸ ۳ دقیقه مدل‌ها انتشار نسخه نهایی GPT-2 با ۱.۵ میلیارد پارامتر؛ گامی در شفاف‌سازی هوش مصنوعی OpenAI بزرگ‌ترین نسخه GPT-2 با ۱.۵ میلیارد پارامتر را به‌همراه کد و وزن‌های مدل برای تشخیص خروجی منتشر کرد. این آخرین گام از انتشار مرحله‌ای GPT-2 است. ۱۴ آبان ۱۳۹۸ ۲ دقیقه مدل‌ها تنظیم دقیق GPT-2 از ترجیحات انسانی ما مدل زبانی GPT-2 با پارامتر ۷۷۴ میلیون را با استفاده از بازخورد انسانی برای وظایف مختلف تنظیم دقیق کرده‌ایم و با موفقیت ترجیحات برچسب‌گذارهای انسانی خارجی ر ۲۸ شهریور ۱۳۹۸ ۲ دقیقه