معرفی Alyah و هدف آن
شرکت Technology Innovation Institute با انتشار بلاگ Alyah ⭐️: Toward Robust Evaluation of Emirati Dialect Capabilities in Arabic LLMs در Hugging Face، یک پایگاه جدید برای ارزیابی مهارت مدل‌های زبان بزرگ عربی در لهجه اماراتی راه‌اندازی کرده است. این ابتکار با هدف رفع عدم توازن داده‌ها و ایجاد معیارهای معتبر و قوی در مورد عملکرد مدل‌ها طراحی شده است.
ساختار داده‌ها و روش ارزیابی
- داده‌های جمع‌آوری‌شده شامل محاوره‌های روزمره، متن‌های رسمی و محتوای رسانه‌ای به زبان اوائل ای.
- پایگاه داده در Hugging Face در دسترس پژوهشگران قرار گرفته است.
- ارزیابی مدل با استفاده از شاخص‌های BLEU، ROUGE و مقایسه‌های دستی انجام می‌شود.
به‌صورت کلی، مدل‌های پایه (Base) و صورت‌قابل تنظیم (Instruction‑Tuned) به‌صورت یک‌به‌یک برای پشتیبانی و آزمون مقایسه‌شده‌اند.
نتایج و روندهای مشاهده‌شده
تحلیل نتایج نشان داد که مدل‌های پیش‌ساختگی اینترنتی برای لهجه اماراتی عملکرد قابل توجهی ارائه می‌دهند؛ اما همچنان نیاز به آموزش خاص در زمینه لهجه‌ای وجود دارد. روند کموفرمات و همگرا شدن بین مدل‌های دستوری واضح‌تر شد.
پیشنهادات و تأثیر بر جامعه
نتایج Alyah از پژوهشگران ایرانی تا جهانی و به‌خصوص در حوزه تعلیمی، باعث ایجاد بحث‌های جدید دربارهٔ توسعه مدل‌های زبان ترکیبی و استفاده از داده‌های چندزبانه شد. تیم توسعه‌کنندگان دعوت می‌کنند تا در نسخه‌های بعدی دست‌نویس خود، مدل‌های خود را با این پایگاه آزمایش کنند.
پرسش‌های پرتکرار
آیا داده‌های Alyah برای عموم قابل دسترسی است؟
بله، مجموعه داده در Hugging Face به صورت عمومی در دسترس است و می‌توان به راحتی آن را دانلود و در پروژه‌های خود استفاده کرد.
چگونه می‌توانم مدل‌های خود را با Alyah ارزیابی کنم؟
مدل‌هایی که می‌خواهید آزمایش کنید باید به صورت یک فایل Hugging Face Hub در دسترس باشند و زیرساخت ارزیابی آماری یا دستی را طبق مستندات ارائه‌شده در بنچ‌مارک استفاده کنید.
