پژوهش
هوش مصنوعی با Ulysses: پردازش میلیونها توکن در یک مدل
Ulysses با استفاده از موازیسازی توالی، امکان آموزش مدلهای زبان با هزاران میلیون توکن را فراهم میکند و جایگزینی مناسب برای Ring Attention است.
پژوهش
توکنسازی در Transformers v5: سادهتر، شفافتر و ماژولارتر – پیشرفت در هوش مصنوعی
در مقالهی جدید منبعی بینالمللی، بهروزرسانیترین نسخهی توکنسازی از Transformers v5 معرفی میشود؛ نحوهی جداکردن ساختار و دیکشنری، امکانات سادهتر، و چگونگی استفاده در پروژههای هوش مصنوعی.
مدلها
هوش مصنوعی در حاشیه: معرفی کوچکترین مدل Granite 4.0 Nano از IBM
Granite 4.0 Nano شرکت IBM، کوچکترین مدل هوش مصنوعی، با ۱۵ ترلیون توکن آموزش، توانایی بالایی در فرآیندهای لبه و دستگاههای محلی دارد و تحت مجوز Apache 2.0 منتشر میشود.
پژوهش
هوش مصنوعی mmBERT: مدل چندزبانه برتر با سرعت بینظیر
معرفی mmBERT، مدل چندزبانهٔ نوین با بیش از 1800 زبان و دادهٔ 3T توکن، که عملکرد بالا و سرعت بینظیر نسبت به XLM‑R و مدلهای گذشته ارائه میدهد.
اخبار
فکان ۲؛ مدل زبانی ۱۱ پارامتری با قابلیت چندزبانی و پشتیبانی بصری
فکان ۲ (Falcon 2) مدل زبانی جدید با ۱۱ میلیارد پارامتر است که با بیش از ۵۰۰۰ میلیارد توکن و پشتیبانی از ۱۱ زبان آموزش دیده و هم بهصورت متنی و هم بصری کار میکند.
پژوهش
کازموپدیا؛ انقلاب دادههای سنتتیک در پیشآموزش مدلهای هوش مصنوعی
هاگینگ فیس مجموعهداده سنتتیک کازموپدیا را با میلیاردها توکن برای بازتولید عملکرد Phi-1.5 منتشر کرد؛ گامی بزرگ در تولید داده برای هوش مصنوعی.