پژوهش OpenAI معرفی IndQA: استاندارد جدید برای ارزیابی هوش مصنوعی در زبان‌های هندی OpenAI با معرفی IndQA، بنچمارک نوینی برای سنجش توانایی‌های هوش مصنوعی در 12 زبان هندی و 10 حوزه دانش ارائه می‌دهد، که بار قوی در فهم فرهنگی و استدلال دارد. ۱۳ آبان ۱۴۰۴ ۲ دقیقه پژوهش معرفی RTEB: استاندارد نوین ارزیابی بازیابی در هوش مصنوعی RTEB، بنچمارک جدیدی برای ارزیابی دقیق واکشی بردارهای جاسازی، با استفاده از ترکیبی از داده‌های عمومی و خصوصی، راه‌حلی شفاف و مشخص برای سنجش عملکرد مدل‌های هوش مصنوعی در شرایط واقعی ارائه می‌دهد. ۹ مهر ۱۴۰۴ ۲ دقیقه پژوهش هوش مصنوعی در تحلیل ویدیوهای طولانی: TimeScope و چالش‌های آن TimeScope، بنچمارکی متن‌باز برای سنجش توانایی مدل‌های هوش مصنوعی در درک ویدیوهای طولانی تا 8 ساعت با چالش‌های متعدد و کاهش هزینه‌های پردازش. ۱ مرداد ۱۴۰۴ ۲ دقیقه پژوهش هوش مصنوعی در آزمون PaperBench: توانایی بازتولید پژوهش‌های پیشرفته PaperBench، بنچمارکی که توسط OpenAI معرفی شده، توانایی هوش مصنوعی‌ها در بازتولید پژوهش‌های پیشرفته را با دقت و جامع‌گی ارزیابی می‌کند. ۱۳ فروردین ۱۴۰۴ ۲ دقیقه پژوهش سوال بزرگ در هوش مصنوعی: آیا LLM می‌تواند 1 میلیون دلار از پروژه‌های آزاد کسب کند؟ OpenAI با معرفی بنچمارک SWE-Lancer، سؤال مهمی مطرح کرده‌است: آیا مدل‌های زبانی بزرگ می‌توانند در پروژه‌های نرم‌افزاری آزاد نرخ درآمدی شگفت‌انگیز بسازند؟ ۳۰ بهمن ۱۴۰۳ ۲ دقیقه پژوهش هوش مصنوعی در دنیای عربی: AraGen، جدیدترین بنچمارک و لیدر بور برای مدل‌های LLM مقاله‌ای جامع دربارهٔ AraGen، بنچمارک مولد زبان عربی، با سیستم ارزیابی ۳C۳H؛ نمایش رده‌بندی پویا و توانایی‌های مدل‌های LLM در زبان کم‌منبع. ۱۴ آذر ۱۴۰۳ ۲ دقیقه پژوهش SimpleQA: مرجع جدید هوش مصنوعی برای آزمون دقیق پاسخ‌های کوتاه OpenAI یک بنچمارک جدید به نام SimpleQA معرفی کرد که توانایی پاسخ‌های کوتاه و مستند مدل‌های زبانی را سنجیده و به بهبود دقت و شفافیت کمک می‌کند. ۹ آبان ۱۴۰۳ ۲ دقیقه پژوهش BigCodeBench: هوش مصنوعی در ارزیابی برنامه‌نویسی انسانی نسل بعدی BigCodeBench یک بنچمارک جامع جدید برای ارزیابی توانمندی‌های زبان‌های بزرگ مدل در حل مسایل برنامه‌نویسی انسانی به همراه پوشش بالای ۹۹٪ تست است. ۲۹ خرداد ۱۴۰۳ ۲ دقیقه پژوهش آینده‌ساز کد‌نویسی: لیورورد LiveCodeBench و ارزیابی هوش مصنوعی بر رمز و تلاقی LiveCodeBench یک بنچمارک نوین برای ارزیابی تولید کد توسط مدل‌های هوش مصنوعی است که با استفاده از مسائل واقعی مسابقات برنامه‌نویسی، ارزیابی‌های زمانی و تست خروجی را پوشش می‌دهد. ۲۸ فروردین ۱۴۰۳ ۲ دقیقه پژوهش استقرار Llama 2 بر Amazon SageMaker: راهنمایی هوش مصنوعی کم هزینه این مقاله، بیانگر نتایج یک بنچمارک جامع بر روی Llama 2 در Amazon SageMaker است و بهترین گزینه‌های کم هزینه و بالاترین سرعت را برای شرکت‌ها معرفی می‌کند. ۴ مهر ۱۴۰۲ ۲ دقیقه