پژوهش هوش مصنوعی در تحلیل ویدیوهای طولانی: TimeScope و چالش‌های آن TimeScope، بنچمارکی متن‌باز برای سنجش توانایی مدل‌های هوش مصنوعی در درک ویدیوهای طولانی تا 8 ساعت با چالش‌های متعدد و کاهش هزینه‌های پردازش. ۱ مرداد ۱۴۰۴ ۲ دقیقه پژوهش هوش مصنوعی و HealthBench: استاندارد جدید ارزیابی مدل‌های پزشکی HealthBench، یک بَنک‌نشین منظم برای ارزیابی هوش مصنوعی در حوزه سلامت است. با همکاری بیش از ۲۵۰ متخصص پزشکی، این ابزار کیفیت و ایمنی مدل‌ها را در سناریوهای واقعی سنجیده می‌کند. ۲۲ اردیبهشت ۱۴۰۴ ۲ دقیقه پژوهش هوش مصنوعی: HELMET، رویکرد جامع برای ارزیابی مدل‌های طویل متن HELMT، چارچوب ارزیابی نوین برای مدل‌های زبان با طول متن بلند، به صورت متن باز و تحقیقاتی، نمونه‌های کاربردی و مزایای آن در دنیای هوش مصنوعی را می‌پذیرد. ۲۷ فروردین ۱۴۰۴ ۲ دقیقه پژوهش ارتقای ارزیابی هوش مصنوعی عربی: معرفی AraGen و Instruction Following در این مقاله به به‌روزرسانی‌های اخیر در Leaderboard عربی می‌پردازیم؛ معرفی AraGen 03–25، Instruction Following و چگونگی ارزیابی مدل‌های زبان عربی با معیارهای IFEval دقیق و کامل توسعه ۱۹ فروردین ۱۴۰۴ ۲ دقیقه مدل‌ها هوش مصنوعی عربی؛ سکوی برتری مدل‌های زبانی نسخه دوم منتشر شد نسخه دوم سکوی برتری مدل‌های زبانی عربی (Open Arabic LLM Leaderboard 2) منتشر شد تا ارزیابی مدل‌های هوش مصنوعی را شفاف‌تر و یکپارچه‌تر کند. ۲۲ بهمن ۱۴۰۳ ۳ دقیقه پژوهش آزمون DABstep؛ چالشی تازه برای هوش مصنوعی در تحلیل داده معیار جدید DABstep با بیش از ۴۵۰ وظیفه تحلیل داده، توانایی هوش مصنوعی را در استدلال چندمرحله‌ای می‌سنجد؛ بهترین مدل‌ها تنها ۱۶٪ دقت دارند. ۱۶ بهمن ۱۴۰۳ ۲ دقیقه پژوهش هوش مصنوعی در دنیای عربی: AraGen، جدیدترین بنچمارک و لیدر بور برای مدل‌های LLM مقاله‌ای جامع دربارهٔ AraGen، بنچمارک مولد زبان عربی، با سیستم ارزیابی ۳C۳H؛ نمایش رده‌بندی پویا و توانایی‌های مدل‌های LLM در زبان کم‌منبع. ۱۴ آذر ۱۴۰۳ ۲ دقیقه اخبار Judge Arena: پلتفرم Hugging Face برای مقایسه مدل‌های زبانی در نقش داور هَگینگ‌فیس پلتفرم Judge Arena را معرفی کرد؛ ابزاری متن‌باز برای مقایسه و رتبه‌بندی مدل‌های زبانی در نقش قاضی، با روش رأی‌گیری جمعی و میزبانی رده‌بندی زنده. ۲۹ آبان ۱۴۰۳ ۲ دقیقه پژوهش SimpleQA: مرجع جدید هوش مصنوعی برای آزمون دقیق پاسخ‌های کوتاه OpenAI یک بنچمارک جدید به نام SimpleQA معرفی کرد که توانایی پاسخ‌های کوتاه و مستند مدل‌های زبانی را سنجیده و به بهبود دقت و شفافیت کمک می‌کند. ۹ آبان ۱۴۰۳ ۲ دقیقه پژوهش MLE-bench: معیاری نوین برای ارزیابی مهندسی یادگیری ماشین در هوش مصنوعی MLE-bench، معیاری نوین از OpenAI برای سنجش عملکرد عامل‌های هوش مصنوعی در مهندسی یادگیری ماشین؛ گامی مهم در بهبود و مقایسه مدل‌های ML. ۱۹ مهر ۱۴۰۳ ۲ دقیقه