اخبار مقیاس‌پذیری Kubernetes به ۷۵۰۰ گره؛ زیرساخت هوش مصنوعی OpenAI اوپن‌ای‌آی با مقیاس‌بندی کوبرنیتز به ۷۵۰۰ گره، زیرساختی قدرتمند برای آموزش مدل‌های بزرگ هوش مصنوعی مانند GPT-3 و DALL·E فراهم کرده است. ۶ بهمن ۱۳۹۹ ۲ دقیقه پژوهش گرم‌آغاز کردن مدل‌های Encoder-Decoder با هوش مصنوعی؛ راهکاری برای بهبود عملکرد در این مقاله از وبلاگ هوما، روش گرم‌آغاز کردن مدل‌های زبانی Encoder-Decoder با استفاده از checkpointهای BERT و GPT2 بررسی می‌شود. این تکنیک در ترجمه ماشینی، خلاصه‌سازی و سایر وظایف seq2seq عملکرد بهتری به ارمغان می‌آورد. ۱۹ آبان ۱۳۹۹ ۳ دقیقه مدل‌ها مدل‌های Encoder-Decoder مبتنی بر ترنسفورمر؛ چگونه هوش مصنوعی متن می‌فهمد؟ در این مقاله به بررسی عمیق معماری ترنسفورمری Encoder-Decoder می‌پردازیم؛ مدلی که پایه‌گذار نسل جدید سیستم‌های هوش مصنوعی در پردازش زبان طبیعی و تولید محتوا است. ۱۹ مهر ۱۳۹۹ ۲ دقیقه مدل‌ها هوش مصنوعی و Reformer: پردازش دنباله‌های نیم میلیون توکنی با ۸ گیگابایت مدل Reformer با مصرف تنها ۸ گیگابایت حافظه، نیم میلیون توکن را آموزش می‌بیند و برای پردازش دنباله‌های طولانی کارآمد است. در این مقاله بررسی می‌شود. ۱۳ تیر ۱۳۹۹ ۲ دقیقه آموزش آموزش مدل زبانی از صفر با Transformers و Tokenizers در Hugging Face در این مقاله یاد می‌گیرید چگونه با کتابخانه‌های Transformers و Tokenizers یک مدل زبانی اختصاصی از صفر آموزش دهید و آن را برای وظایف پایین‌دستی بهینه کنید. ۲۵ بهمن ۱۳۹۸ ۳ دقیقه پژوهش قوانین مقیاس‌پذیری مدل‌های زبانی؛ راز پیشرفت هوش مصنوعی تحقیقات OpenAI نشان می‌دهد عملکرد مدل‌های زبانی با افزایش داده، پارامترها و توان محاسباتی به شکلی قابل پیش‌بینی بهبود می‌یابد. این مقاله به بررسی این قوانین و پیامدهای آن برای آینده هوش مصنوعی می‌پردازد. ۳ بهمن ۱۳۹۸ ۳ دقیقه پژوهش هوش مصنوعی و ترانسفورماتور اسپارس: گامی بزرگ در پیش‌بینی توالی‌ها معرفی Sparse Transformer ساخته OpenAI؛ مدل جدید یادگیری عمیق که با بهبود مکانیزم توجه، الگوهای موجود در توالی‌های طولانی‌تر را با دقت بی‌سابقه‌ای پیش‌بینی می‌کند. ۳ اردیبهشت ۱۳۹۸ ۲ دقیقه مدل‌ها مدل زبانی جدید OpenAI؛ انقلابی در هوش مصنوعی بدون نیاز به آموزش اختصاصی مقاله به معرفی مدل زبانی بزرگ OpenAI می‌پردازد که بدون آموزش اختصاصی، تولید متن، ترجمه، پاسخ به سوال و خلاصه‌سازی را انجام می‌دهد و مفاهیم آن را بررسی می‌کند. ۲۵ بهمن ۱۳۹۷ ۲ دقیقه پژوهش هوش مصنوعی: هسته‌های GPU بلوک-اسپارس OpenAI، انقلابی در سرعت پردازش اوپن‌ای‌آی هسته‌های بهینه‌سازی شده GPU بلوک-اسپارس را منتشر کرد. این پیشرفت انقلابی، پردازش شبکه‌های عصبی را تا چندین برابر سرعت می‌بخشد و نتایج بی‌نظیری در تحلیل احساسات و مدل‌سازی مولد به ارمغان می‌آورد. ۱۵ آذر ۱۳۹۶ ۴ دقیقه