چرا 3LM مهم است؟
مدل‌های زبانی عربی به سرعت پیشرفت می‌کنند، اما معیارهای ارزیابی فعلی بیش‌تر به وظایف عمومی مانند خلاصه‌سازی و تحلیل احساس مثبت می‌پردازند. در واقع، لازم است ابزارهایی وجود داشته باشد که درک عمیق مهارت‌های علمی و برنامه‌نویسی مدل را اندازه‌گیری کنند، چرا که این مهارت‌ها در بسیاری از صنایع، تحصیلی و پژوهشی کاربرد دارند.
- Native STEM – سناریوهای واقعی علمی و مهندسی که از متن عربی با اصطلاحات تخصصی استفاده می‌کند.
- Synthetic STEM – مجموعه‌ای از سوالات و معماهای تولیدی، اطمینان از تغذیه مدل با الگوهای پیچیده‌تر دستوری.
- Arabic Code Benchmarks – ارزیابی توانایی تولید و فهم کدهای برنامه‌نویسی، موردی کلیدی برای ابزارهای توسعه و ویرایش متن.
پارت‌های اصلی و چالش‌ها
برندمارک ۳LM در سه بخش مبتنی بر مقیاس‌های گوناگون ساخته شده است:
- جمع‌آوری داده‌های بزرگ: بیش از ۱۰۰۰۰ نمونه در هر حوزه، با اشکال مختلف، از جمله مقالات، کتاب‌های درسی، و مستندات نرم‌افزار.
- ابزارهای ارزیابی دقیق، شامل تقدیر از میزان دقت، سرعت پردازش و توانایی فهم عبارات فنی بالای سطح متوسط.
- پشتیبانی از زبانی که ۷۰٪ از کاربران عربی، تفاوت‌های دستوری و نوشتاری دارد و باعث می‌شود آزمون به صورت واقعی باشد.
نحوه دسترسی و استفاده
اگر می‌خواهید از ۳LM بهره‌مند شوید، نخست به دیتاست‌های Hugging Face و سپس به کدهای GitHub مراجعه کنید. این منابع را مجانی و با مجوز متن باز ارائه می‌دهند. مستندات موجود شامل راهنمای نصب، استفاده از API و چگونگی طراحی مدل‌های سفارشی است.
پرسش‌های پرتکرار
3LM چیست؟
برندمارک ۳LM یک استاندارد مولف برای ارزیابی مدل‌های بزرگ زبانی عربی در حوزه‌های علمی‑فناوری و کدنویسی است. این برن‌مدار، مقیاس‌های واقعی و تولیدشده، برای تست پیشرفته مهارت‌های مدل در حل مسائل تخصصی طراحی شده است.
چگونه می‌توان از این benchmark استفاده کرد؟
می‌توانید داده‌های ۳LM را از Hugging Face دانلود کنید و کدهای ارزیابی را از مخزن GitHub تکمیل کنید. ابزارهای سیستم‌نویسی لازم، استفاده از Docker و نسخه‌های مختلف Python را مستند کرده‌اند و از مدل‌های موجود در Hugging Face Hub نیز بهره‌مند می‌شوید.
