پژوهش گرم‌آغاز کردن مدل‌های Encoder-Decoder با هوش مصنوعی؛ راهکاری برای بهبود عملکرد در این مقاله از وبلاگ هوما، روش گرم‌آغاز کردن مدل‌های زبانی Encoder-Decoder با استفاده از checkpointهای BERT و GPT2 بررسی می‌شود. این تکنیک در ترجمه ماشینی، خلاصه‌سازی و سایر وظایف seq2seq عملکرد بهتری به ارمغان می‌آورد. ۱۹ آبان ۱۳۹۹ ۳ دقیقه مدل‌ها انتقال مدل ترجمه WMT19 به Transformers؛ دموکراتیک کردن هوش مصنوعی در این مقاله مرور می‌کنیم که چگونه سیستم ترجمه WMT19 فیسبوک به کتابخانه متن‌باز Transformers منتقل شد؛ گامی مهم در مسیر دسترسی آزاد و دموکراتیک به هوش مصنوعی. ۱۳ آبان ۱۳۹۹ ۲ دقیقه آموزش بهینه‌سازی فراپارامتر در ترنسفورمر با Ray Tune؛ راهنمای عملی با Ray Tune، تنظیم فراپارامتر مدل‌های ترنسفورمر را هوشمندانه انجام دهید و عملکرد مدل را بدون از دست دادن انعطاف‌پذیری بهبود بخشید. ۱۲ آبان ۱۳۹۹ ۲ دقیقه مدل‌ها مدل‌های Encoder-Decoder مبتنی بر ترنسفورمر؛ چگونه هوش مصنوعی متن می‌فهمد؟ در این مقاله به بررسی عمیق معماری ترنسفورمری Encoder-Decoder می‌پردازیم؛ مدلی که پایه‌گذار نسل جدید سیستم‌های هوش مصنوعی در پردازش زبان طبیعی و تولید محتوا است. ۱۹ مهر ۱۳۹۹ ۲ دقیقه کسب‌وکار لیسانس فناوری GPT-3 به مایکروسافت؛ نقطه عطفی در تجاری‌سازی هوش مصنوعی OpenAI با صدور مجوز فناوری GPT-3 به مایکروسافت، گامی بزرگ در تجاری‌سازی هوش مصنوعی برداشته است. این همکاری راه را برای توسعه محصولات جدید مایکروسافت هموار می‌کند. ۱ مهر ۱۳۹۹ ۲ دقیقه مدل‌ها بهینه‌سازی مدل‌های زبانی با ماتریس‌های اسپارس بلوکی در هوش مصنوعی آشنایی با pytorch_block_sparse، ابزار جدید Hugging Face برای کاهش حجم و افزایش سرعت مدل‌های زبانی با بهره‌گیری از ماتریس‌های اسپارس بلوکی. ۲۰ شهریور ۱۳۹۹ ۲ دقیقه پژوهش مدل زبانی مولد OpenAI برای اثبات خودکار قضیه‌های ریاضی چگونه کار می‌کند؟ OpenAI با توسعه یک مدل زبانی مولد، گامی بلند در اثبات خودکار قضیه‌های ریاضی برداشته است. در این مقاله به بررسی این دستاورد و کاربردهای آن می‌پردازیم. ۱۷ شهریور ۱۳۹۹ ۳ دقیقه پژوهش آموزش مدل‌های هوش مصنوعی برای خلاصه‌سازی بهتر با بازخورد انسانی OpenAI با استفاده از یادگیری تقویتی از بازخورد انسانی، مدل‌های زبانی را برای خلاصه‌سازی دقیق‌تر و باکیفیت‌تر آموزش داده است. این روش نتایج بهتری دارد. ۱۴ شهریور ۱۳۹۹ ۲ دقیقه اخبار پروژه‌های نهایی هوش مصنوعی Scholars 2020 اوپن‌ای‌آی معرفی شد در رویداد دمو دی، پژوهشگران کلاس سوم OpenAI Scholars نتایج پنج ماه تحقیق خود را در حوزه هوش مصنوعی ارائه کردند. جزئیات پروژه‌های برتر را بخوانید. ۱۹ تیر ۱۳۹۹ ۲ دقیقه مدل‌ها هوش مصنوعی و Reformer: پردازش دنباله‌های نیم میلیون توکنی با ۸ گیگابایت مدل Reformer با مصرف تنها ۸ گیگابایت حافظه، نیم میلیون توکن را آموزش می‌بیند و برای پردازش دنباله‌های طولانی کارآمد است. در این مقاله بررسی می‌شود. ۱۳ تیر ۱۳۹۹ ۲ دقیقه