مدلها
هوش مصنوعی: ۳ برابر سریعتر با مدل LFM2.5-DSpark Liquid AI
Liquid AI مدل LFM2.5-DSpark را منتشر کرد که تا ۳.۲ برابر اجرای سریعتر هوش مصنوعی را بدون کاهش کیفیت ارائه میدهد.
پژوهش
کالبدشکافی هوش مصنوعی: چگونه هوش مصنوعی را سریعتر کنیم؟
در این مقاله به بررسی تکنیکهای کاهش حجم مدلهای هوش مصنوعی، از جمله knowledge distillation میپردازیم و تاثیر آن بر آینده AI را تحلیل میکنیم.
اخبار
سرعت بومی vLLM با کتابخانه Transformers در اکوسیستم هوش مصنوعی
Hugging Face اعلام کرد بکاند transformers در vLLM به سرعت بومی یا حتی بالاتر از پیادهسازیهای اختصاصی رسیده و توسعهدهندگان مدلهای زبانی میتوانند بدون هزینه اضافه، استنتاج فوقسریع داشته باشند.
پژوهش
هوش مصنوعی برتر: Mellum2 از JetBrains، مدل 12B Mixture-of-Experts برای پردازش سریع متن و کد
Mellum2 از JetBrains، مدل Mixture-of-Experts 12B با سرعت دو برابری و کارایی بالا، انتخاب Ideal برای پردازش متن و کد در محیطهای چند مدل و سریع.
پژوهش
هوش مصنوعی در دقت بالا: چرخش زمان با torch.profiler در پایتورچ
در این مقاله، به بررسی ابزار torch.profiler در پایتورچ میپردازیم و نکات کلیدی برای پروفایلینگ مدلهای هوش مصنوعی و بهینهسازی سرعت ارائه میکنیم. با این گامها، توسعه دهندگان میتوانند عملکرد مدلهای خود را به طور قابل توجهی بهبود بخشند.
مدلها
هوش مصنوعی در ردهبندی: معرفی Ettin Reranker Family مدلهای برتر
در این گزارش به معرفی شش مدل ردهبندی مبتنی بر Sentence Transformers در خانواده Ettin رندرها میپردازیم؛ با سبک بندی و distillation، عملکرد برشی بر MTEB(eng,v2) و سایر نگهدارندگان نشان میدهد.