پژوهش
GaLore: آموزش مدلهای زبانی بزرگ روی سختافزار مصرفی با هوش مصنوعی
تکنیک نوین GaLore با کاهش شدید مصرف حافظه در حالتهای بهینهساز، امکان آموزش مدلهای زبانی چند miljard پارامتری را روی کارتهای گرافیک معمولی و ارزانیتر برای پژوهشگران فراهم میکند.
پژوهش
کازموپدیا؛ انقلاب دادههای سنتتیک در پیشآموزش مدلهای هوش مصنوعی
هاگینگ فیس مجموعهداده سنتتیک کازموپدیا را با میلیاردها توکن برای بازتولید عملکرد Phi-1.5 منتشر کرد؛ گامی بزرگ در تولید داده برای هوش مصنوعی.
سختافزار
اجرای هوش مصنوعی مولد روی لپتاپ: چتبات Phi-2 با پردازنده متئور لیک اینتل
هاگینگ فیس و اینتل اجرای مدل هوش مصنوعی Phi-2 را روی لپتاپهای مجهز به پردازنده متئور لیک ممکن کردهاند؛ گامی برای استنتاج محلی مدلهای زبانی بزرگ.
اخبار
آموزش مدلهای هوش مصنوعی با H100 در سرویس جدید Hugging Face
با سرویس Train on DGX Cloud، سازمانها میتوانند مدلهای محبوب مانند Llama و Mistral را با GPUهای H100 در چند کلیک روی هاب Hugging Face تنظیم دقیق کنند.
مدلها
هوش مصنوعی WebSight؛ تحولی در تبدیل اسکرینشات به کد HTML
دیتاست WebSight از Hugging Face، مجموعهای بزرگ از تصاویر اسکرینشات و کد HTML را برای آموزش مدلهای هوش مصنوعی فراهم میکند تا تبدیل طراحی به کد سادهتر شود.
مدلها
PEFT روشهای جدیدی برای ادغام مدلهای هوش مصنوعی معرفی کرد
کتابخانه PEFT هگز فیس با افزودن روشهای جدید ادغام LoRA مانند TIES و DARE، مسیر بهینهسازی مدلهای زبانی بزرگ را هموارتر کرد. با این تکنیکها، مدلهای قدرتمندتری با مصرف حافظه کمتر بسازید.