چرا لیست‌بررسی Open Arabic LLM مهم است؟
\nپایگاه داده‌های زبان عربی در حوزه هوش مصنوعی هنوز کم‌پوشش بوده و اغلب مقایسه‌ها در انگلیسی تمرکز دارند. این لیست‌بررسی مخصوص مدل‌های زبان عربی است که به جمع‌آوری و ارائه‌ی داده‌های یادگیری و آزمایش امکانات می‌پردازد.
\nمعیارها و روند ارزیابی مدل‌ها
\nما بر اساس مجموعه‌های دیتاست و متریک اندازه‌گیری استاندارد، مدل‌های زبانی را در وظایف مختلف ارزیابی می‌کنیم. هر مدل در فهرست نمره‌ای دریافت می‌کند و می‌تواند در جدول مقایسه قرار گیرد.
\n- \n
- داده‌های ارزیابی: ArabicGPT-100K, QALB++ \n
- متریک: BLEU، ROUGE، اعداد دقیق عملکرد در پرسش و پاسخ \n
- مانند معیار هوش مصنوعی، مدل‌ها در حالت باز و آماده‌ی بارگذاری هستند \n
نحوه ارسال مدل به لیست‌بررسی
\nمخکولو مودل با دنبال کردن نحوه ارسال می‌تواند مدلی خود را در این لیست ثبت کند. در صورت شکست، مراحل لازم برای رفع خطا در مستندات گنجانده شده.
\nنکات تکمیلی و آینده
\nاین سیستم نه تنها برای پژوهشگران بلکه برای شرکت‌های نرم‌افزاری، مربیان و توسعه‌دهندگان عربی مفید است. با گسترش مجموعه‌های داده و افزودن معیارهای جدید، شفاف‌سازی نفع به روز خواهد شد.
پرسش‌های پرتکرار
سیستم لیست‌بررسی چه ادعای اصلی دارد؟
هدف اصلی آن فراهم آوردن بستری باز و شفاف برای ارزیابی و مقایسه مدل‌های زبانی بزرگ عربی است.
اطلاعات مورد نیاز برای ارسال مدل چیست؟
پوشش دادهٔ آموزشی، مجموعهٔ ارزیابی، و کد ارزیابی قابل استفاده برای خودکارسازی حاوی است که در مستندات توضیح داده شده.
