پژوهش
قوانین مقیاس‌پذیری مدل‌های زبانی؛ راز پیشرفت هوش مصنوعی
تحقیقات OpenAI نشان می‌دهد عملکرد مدل‌های زبانی با افزایش داده، پارامترها و توان محاسباتی به شکلی قابل پیش‌بینی بهبود می‌یابد. این مقاله به بررسی این قوانین و پیامدهای آن برای آینده هوش مصنوعی می‌پردازد.
پژوهش
آموزش مقیاس‌پذیر هوش مصنوعی؛ از هنر تا علم با نویز گرادیان
پژوهشگران OpenAI دریافته‌اند که معیار نویز گرادیان می‌تواند آموزش شبکه‌های عصبی را نظام‌مند و مقیاس‌پذیر کند و استفاده از batch sizeهای بزرگ‌تر را ممکن سازد.
اخبار
هوش مصنوعی در ابعاد عظیم: OpenAI به 2,500 نود در Kubernetes می‌رسد
OpenAI در راه اندازی ابری توزیع‌شده، سویه‌ای جدید در مقیاس‌پذیری Kubernetes را ارائه می‌دهد؛ 2,500 نود به سرویس‌های هوش مصنوعی امپراست می‌افزاید.
پژوهش
هوش مصنوعی: Evolution Strategies جایگاه جدیدی در یادگیری تقویتی می‌گیرد
روش Evolution Strategies (ES) جایگزین مقیاس‌پذیر یادگیری تقویتی می‌شود؛ در بازی‌های آتاری و MuJoCo عملکرد مشابه RL را دارند و تا ۵ برابر کاهش می‌دهد.
پژوهش
هوش مصنوعی درک عمیق‌تر: محدودیت‌ها و امکانات Neural GPU
مدل Neural GPU، یک معماری کنولوشنال هوش مصنوعی است که می‌تواند الگوریتم‌های پایه را یاد بگیرد و گسترش یابد؛ اما محدودیت‌های عملیاتی و مقیاس‌پذیری همچنان چالش برانگیز باقی مانده‌اند.