معرفی لیست‌برداری Open Japanese LLM
در November 20، 2024، شرکت هافینگ فیس و کارگروه LLM-jp با هدف ارتقاء و بازتاب‌های شفاف در حوزه هوش مصنوعی، لیست‌برداری Open Japanese LLM را رونمایی کردند. این پروژه ناحیه‌های زبان ژاپنی را در محورهای مختلفشان بررسی می‌کند و با از آن بیش از ۲۰ مجموعه داده، امکان مقایسه و هنجارسازی مدل‌های ژاپنی بزرگ زبان را فراهم می‌آورد.
چالش‌های زبان ژاپنی برای LLMها
زبان ژاپنی به دلیل داشتن صرف و تغییرات صرفی پیچیده، سرنوشت‌های متفاوت عبارات، و ترکیب مجزا از کانجی، هِرانگ و کاتو‌کُی، برای مدل‌های زبان پیچیدگی‌های خاصی ایجاد می‌کند. علاوه بر این، جملات طولانی و الميل به اضافه‌کردن ضمایر مخاطب در معانی جملات، راه‌پیشبرد برای ارزیابی دقیق‌تر مدل‌هاست.
پذیرش مجموعه داده‌ها و وظایف مینی برداری
این لیست شامل یک لیست گسترده از چالش‌های کاربردی است که در آن مدل‌ها آزمایش می‌شوند. در ادامه به معرفی چند نمونه اصلی می‌پردازیم:
- Jamp – مدل‌های حجم‌بزرگ پردازش متن
- JEMHopQA – پاسخ‌گویی بر اساس متن بلند
- chABSA – تحلیل احساس در متن‌های گویشگاهی
- mbpp-ja – تمرین بر گرامر و نگارش صحیح
- mawps – جمع‌بندی و خلاصه‌سازی وظیفه‌ای
- JMMLU – آزمون دانش عمومی مدل‌های ژاپنی
- XL-Sum – ریزبندی مکالمات طولانی
هر یک از این مجموعه‌داده‌ها به‌صورت آزاد در دسترس است و مراکز تحقیقاتی، توسعه‌دهندگان و دانشجویان می‌توانند با استفاده از امکاناتی همچون گیت‌هاب و کنفرانس‌های آنلاین، به بهینه‌سازی مدل‌ها بپردازند. این اقدام در راستای پذیرش علم تحلیلی، توسعه همکاری‌های بین المللی و آنی‌سازی موفقیت مدل‌های بومی در محیط‌های واقعی است.
پرسش‌های پرتکرار
لیست‌برداری Open Japanese LLM چیست؟
لیست‌برداری Open Japanese LLM یک پایگاه داده عمومی و شفاف است که بیش از 20 مجموعه داده مختلف و وظایف NLP در زبان ژاپنی را گردآوری می‌کند، به‌منظور مقایسه و ارزیابی مدل‌های بزرگ زبان ژاپنی.
چگونه می‌توان در لیست‌برداری شرکت کرد؟
هر کسی می‌تواند با انتشار مجموعه‌داده، مدل یا نتایج آزمون خود در هافینگ فیس و لینک کردن به مخزن لیست، سهم خودش را در توسعه لیست کند؛ کافی است مستندات و کدهای خود را در گیت‌هاب به‌صورت متن باز باز کنید.
