پژوهش
گرم‌آغاز کردن مدل‌های Encoder-Decoder با هوش مصنوعی؛ راهکاری برای بهبود عملکرد
در این مقاله از وبلاگ هوما، روش گرم‌آغاز کردن مدل‌های زبانی Encoder-Decoder با استفاده از checkpointهای BERT و GPT2 بررسی می‌شود. این تکنیک در ترجمه ماشینی، خلاصه‌سازی و سایر وظایف seq2seq عملکرد بهتری به ارمغان می‌آورد.
مدل‌ها
انتقال مدل ترجمه WMT19 به Transformers؛ دموکراتیک کردن هوش مصنوعی
در این مقاله مرور می‌کنیم که چگونه سیستم ترجمه WMT19 فیسبوک به کتابخانه متن‌باز Transformers منتقل شد؛ گامی مهم در مسیر دسترسی آزاد و دموکراتیک به هوش مصنوعی.
مدل‌ها
مدل‌های Encoder-Decoder مبتنی بر ترنسفورمر؛ چگونه هوش مصنوعی متن می‌فهمد؟
در این مقاله به بررسی عمیق معماری ترنسفورمری Encoder-Decoder می‌پردازیم؛ مدلی که پایه‌گذار نسل جدید سیستم‌های هوش مصنوعی در پردازش زبان طبیعی و تولید محتوا است.
پژوهش
مدل زبانی مولد OpenAI برای اثبات خودکار قضیه‌های ریاضی چگونه کار می‌کند؟
OpenAI با توسعه یک مدل زبانی مولد، گامی بلند در اثبات خودکار قضیه‌های ریاضی برداشته است. در این مقاله به بررسی این دستاورد و کاربردهای آن می‌پردازیم.
مدل‌ها
هوش مصنوعی و Reformer: پردازش دنباله‌های نیم میلیون توکنی با ۸ گیگابایت
مدل Reformer با مصرف تنها ۸ گیگابایت حافظه، نیم میلیون توکن را آموزش می‌بیند و برای پردازش دنباله‌های طولانی کارآمد است. در این مقاله بررسی می‌شود.
پژوهش
آموزش کم‌نمونه در هوش مصنوعی: معرفی GPT-3 و یادگیری چند نمونه‌ای
مقاله‌ای درباره GPT-3 و مفهوم few-shot learning که نشان می‌دهد مدل‌های زبانی بزرگ چگونه با چند مثال، وظایف متنوع را بدون آموزش مجدد یاد می‌گیرند.
آموزش
تولید متن با هوش مصنوعی: بررسی روش‌های Decoding در مدل‌های زبانی
در این مقاله از وبلاگ هوما، روش‌های مختلف تولید متن با مدل‌های زبانی مانند جستجوی حریصانه، beam search، sampling و top-p را بررسی می‌کنیم و نحوه پیاده‌سازی آن‌ها را با کتابخانه transformers یاد می‌گیریم.
آموزش
آموزش مدل زبانی از صفر با Transformers و Tokenizers در Hugging Face
در این مقاله یاد می‌گیرید چگونه با کتابخانه‌های Transformers و Tokenizers یک مدل زبانی اختصاصی از صفر آموزش دهید و آن را برای وظایف پایین‌دستی بهینه کنید.
پژوهش
قوانین مقیاس‌پذیری مدل‌های زبانی؛ راز پیشرفت هوش مصنوعی
تحقیقات OpenAI نشان می‌دهد عملکرد مدل‌های زبانی با افزایش داده، پارامترها و توان محاسباتی به شکلی قابل پیش‌بینی بهبود می‌یابد. این مقاله به بررسی این قوانین و پیامدهای آن برای آینده هوش مصنوعی می‌پردازد.
پژوهش
معیار جدید Procgen؛ سنجش تعمیم‌پذیری مهارت‌های عامل‌های هوش مصنوعی
در این مقاله، معیار Procgen Benchmark از OpenAI را بررسی می‌کنیم؛ ابزاری با ۱۶ محیط رویه‌ای که سرعت یادگیری مهارت‌های قابل‌تعمیم را در عامل‌های یادگیری تقویتی می‌سنجد.