اخبار
Judge Arena: پلتفرم Hugging Face برای مقایسه مدل‌های زبانی در نقش داور
هَگینگ‌فیس پلتفرم Judge Arena را معرفی کرد؛ ابزاری متن‌باز برای مقایسه و رتبه‌بندی مدل‌های زبانی در نقش قاضی، با روش رأی‌گیری جمعی و میزبانی رده‌بندی زنده.
پژوهش
MLE-bench: معیاری نوین برای ارزیابی مهندسی یادگیری ماشین در هوش مصنوعی
MLE-bench، معیاری نوین از OpenAI برای سنجش عملکرد عامل‌های هوش مصنوعی در مهندسی یادگیری ماشین؛ گامی مهم در بهبود و مقایسه مدل‌های ML.
پژوهش
آینده‌ساز کد‌نویسی: لیورورد LiveCodeBench و ارزیابی هوش مصنوعی بر رمز و تلاقی
LiveCodeBench یک بنچمارک نوین برای ارزیابی تولید کد توسط مدل‌های هوش مصنوعی است که با استفاده از مسائل واقعی مسابقات برنامه‌نویسی، ارزیابی‌های زمانی و تست خروجی را پوشش می‌دهد.
سخت‌افزار
نقد و بررسی ایستگاه‌های AI: Gaudi2 vs Nvidia A100 عملکرد دو برابر
هنرمندانه، سریع، و دقیق: این مقاله به بررسی و مقایسه‌ی قدرت کامپیوتری Gaudi2 و Nvidia A100 (80GB) در آموزش و اجرای مدل‌های هوش مصنوعی می‌پردازد و نشان می‌دهد که Gaudi2 دو برابر سریع‌تر عمل می‌کند.
پژوهش
معیار جدید Procgen؛ سنجش تعمیم‌پذیری مهارت‌های عامل‌های هوش مصنوعی
در این مقاله، معیار Procgen Benchmark از OpenAI را بررسی می‌کنیم؛ ابزاری با ۱۶ محیط رویه‌ای که سرعت یادگیری مهارت‌های قابل‌تعمیم را در عامل‌های یادگیری تقویتی می‌سنجد.
اخبار
OpenAI Five Benchmark: پایان مسابقه و چشم‌انداز آینده‌ی هوش مصنوعی
مسابقه OpenAI Five Benchmark به پایان رسید؛ دستاوردهای تحرکنده و تأثیرات گسترده بر سفر هوش مصنوعی در بازی‌های چندنفره و اقتصاد دیجیتال را بررسی می‌کند.