معرفی مدل Granite 4.1
IBM با انتشار مدل‌های LLM جدیدی تحت عنوان Granite 4.1، گامی بزرگ در جهت گسترش کاربردهای هوش مصنوعی در پردازش زبان طبیعی برداشته است. این خانواده شامل سه نسخه ۳B، ۸B و ۳۰B است و با استفاده از ۱۵ تریلیون توکن در حین پیش‌آموزش قدرت پردازش بسیار بالایی را به دست می‌دهد.
ساختار و فازهای پیش‌آموزش
در ساختار Granite 4.1، چندین فاز پیش‌آموزش شناسایی شده‌اند: ابتدا ۱۰ تریلیون توکن عمومی، سپس ۲ تریلیون توکن برای آموزش مهارت‌های ریاضی و کدنویسی، بعد از آن ۲ تریلیون توکن با کیفیت بالا برای دقت بیشتر و ۰.۵ تریلیون توکن برای تقویت نهایی. فاز آخر ثابت‌سازی طول متن (Long Context Extension) تا ۵۱۲ هزار توکن را پشتیبانی می‌کند.
فاین تیون و تقویت یادگیری
سپس مدل با تأمین ۴٫۱ میلیون نمونه با کیفیت بالای دستوری (SFT) فاین‌تیون می‌شود. در نهایت، الگوریتم‌های reinforcement learning چندمرحله‌ای به‌منظور بهبود پاسخ‌های کاربردی به کار می‌روند. این ترکیب، موجب می‌شود مدل در چندین برگه‌ی‌پایه‌های کاربردی به حقوق رقبای اوپن سورس چنین مهارت‌های پیش‌رفته‌ای برسد.
- کد درک بالا در کد نویسی و ریاضیات
- پشتیبانی از متن‌های ترمیمی تا ۵۱۲k توکن
- دسترس‌پذیری در نسخه‌های ابری و ادغام با پروتکل‌های REST و gRPC
پرسش‌های پرتکرار
Granite 4.1 حجم پارامترها چقدر است؟
نسل‌های ۳B، ۸B و ۳۰B قابل بارگیری است.
Granite 4.1 توان پردازش توکن طولانی دارد؟
بله، می‌تواند تا ۵۱۲ هزار توکن در یک متن.
