معرفی mmBERT
mmBERT، مخفف ModernBERT Multilingual، نسخهٔ بهبودیافتهٔ مدل زبانی چندزبانه است که توسط تیم‌های تحقیقاتی و پژوهشی Open Source در Hugging Face توسعه داده می‌شود. با بیش از 3 ترلیون توکن و پوشش‌دهی بیش از 1800 زبان، این مدل برترین دستاورد در حوزهٔ هوش مصنوعی چندزبانه است.
ارکیتمره و یادگیری چند مرحله‌ای
mmBERT بر پایهٔ ساختار ModernBERT ساخته‌شده و سه مرحلهٔ یادگیری توضیح می‌کند؛ 1) آموزش با فاز توزیع داده، 2) یادگیری پیش‌پردازش و 3) فاز بالانس زبان‌های کم‌منبع. این رویکرد باعث افزایش دقت در زبان‌های نادر و بهینه‌سازی مصرف حافظه می‌شود.
بهبودهای عملکردی و سرعت
با مقایسه با XLM‑R، mmBERT نه تنها دقت در وظایف NLU را بالا برده است، بلکه سرعت در پردازش و مصرف انرژی را نیز به‌طور قابل‌توجهی بهینه کرده است. این دستاوردها را به ارتباط عمیق بین معماری دینامیک و استراتژی‌های یادگیری متوسط برمی‌گردانیم.
- دادهٔ بزرگ‌مبنی بر 3T توکن و 1800 زبان
- آزمون‌های NLU و Retrieval با نتایج برتر
- بهینه‌سازی در فاز Decay برای زبان‌های کم‌منبع
پرسش‌های پرتکرار
mmBERT چیست؟
mmBERT یک مدل زبانی چندزبانه است که با استفاده از معماری ModernBERT و مجموعهٔ بزرگی از داده‌های چندزبان پیش آموزش و یادگیری می‌شود. از 1800 زبان و بیش از 3 ترلیون توکن پشتیبانی می‌کند و در وظایف NLU و retrieval عملکرد برتری دارد.
mmBERT چه زبان‌هایی را پوشش می‌دهد؟
mmBERT به‌صورت پیش‌فرض بیش از 1800 زبان را پوشش می‌دهد، از جمله زبان‌های رایج مثل انگلیسی و چینی، و زبان‌های کم‌منبع. این تنوع باعث می‌شود در پروژه‌های بین‌المللی و چندزبانه به‌سختی قابل تنظیم باشد.
