در دنیای پردازش زبان طبیعی، معرفی مدل‌های زبانی جدید همواره با هیجان همراه است. به‌تازگی تیم‌های answerdotai و lightonai با همکاری Hugging Face، مدل جدیدی به نام ModernBERT را معرفی کرده‌اند که می‌توان آن را جایگزینی واقعی برای BERT دانست. این مدل که در ۱۹ دسامبر ۲۰۲۴ منتشر شده، وعده بهبودهای چشمگیری در عملکرد، سرعت و طول توالی ورودی را می‌دهد.
ModernBERT چیست؟
ModernBERT یک خانواده از مدل‌های زبانی مبتنی بر معماری encoder-only است که به‌عنوان نسل جدیدی از مدل‌های زبانی طراحی شده است. برخلاف مدل‌های decoder-only مانند GPT که برای تولید متن استفاده می‌شوند، مدل‌های encoder-only مانند BERT برای درک زبان و استخراج ویژگی‌های متنی بهینه شده‌اند. ModernBERT با بهبودهای اساسی، عملکردی بسیار بهتر از نسل قبلی خود ارائه می‌دهد.
- طول توالی ورودی ۸۱۹۲ توکن که نسبت به BERT اصلی (۵۱۲ توکن) افزایش چشمگیری دارد
- پردازش بسیار سریع‌تر در مقایسه با مدل‌های قدیمی encoder-only
- عملکرد بهتر در وظایف پایین‌دستی (downstream tasks) مانند طبقه‌بندی متن و استخراج موجودیت
- طراحی مدرن و بهینه برای استفاده در محیط‌های تولیدی
چرا ModernBERT مدرن است؟
در حالی که BERT سال‌ها به‌عنوان استاندارد طلایی در بسیاری از سیستم‌های پردازش زبان طبیعی به کار می‌رفت، معماری آن به مرور زمان قدیمی شده است. ModernBERT با بهره‌گیری از پیشرفت‌های اخیر در طراحی ترنسفورمرها، مانند استفاده از لایه‌های بهینه‌شده و مکانیزم‌های توجه کارآمدتر، توانسته است محدودیت‌های BERT را برطرف کند. این مدل نه‌تنها طول توالی بیشتری را پشتیبانی می‌کند، بلکه از نظر محاسباتی نیز کارایی بالاتری دارد.
عملکرد و کارایی
طبق گزارش منتشرشده در وبلاگ Hugging Face، ModernBERT در ارزیابی‌های مختلف، عملکرد بهتری نسبت به مدل‌های encoder-only قبلی ارائه می‌دهد. سرعت پردازش بالای این مدل، آن را به گزینه‌ای ایده‌آل برای کاربردهای بلادرنگ تبدیل می‌کند. همچنین پشتیبانی از طول توالی ۸۱۹۲ توکن، امکان پردازش اسناد طولانی را بدون نیاز به تکه‌تکه کردن متن فراهم می‌آورد.
یکی از اهداف اصلی این پروژه، democratize کردن هوش مصنوعی از طریق منبع باز است. هر دو تیم answerdotai و lightonai به همراه Hugging Face، بر این باورند که انتشار این مدل به‌صورت متن‌باز می‌تواند دسترسی پژوهشگران و توسعه‌دهندگان را به فناوری پیشرفته هوش مصنوعی آسان‌تر کند.
نتیجه‌گیری
ModernBERT گام بزرگی در تکامل مدل‌های زبانی encoder-only به شمار می‌رود. با طول توالی بالا، سرعت پردازش بیشتر و عملکرد بهتر در وظایف مختلف، این مدل می‌تواند به‌عنوان جایگزینی مطمئن برای BERT در پروژه‌های تجاری و تحقیقاتی استفاده شود. انتشار این مدل متن‌باز، افق تازه‌ای را در دنیای هوش مصنوعی باز می‌کند.
پرسش‌های پرتکرار
ModernBERT چه مزیتی نسبت به BERT دارد؟
ModernBERT با طول توالی ۸۱۹۲، سرعت پردازش بالاتر و عملکرد بهتر در وظایف پایین‌دستی، مزیت‌های قابل توجهی نسبت به BERT دارد و به‌عنوان جایگزین مدرن آن معرفی شده است.
آیا ModernBERT متن‌باز است؟
بله، ModernBERT به‌صورت متن‌باز و با همکاری Hugging Face، answerdotai و lightonai منتشر شده است تا دسترسی به فناوری پیشرفته هوش مصنوعی برای همگان فراهم شود.
