اخبار
سرعت بومی vLLM با کتابخانه Transformers در اکوسیستم هوش مصنوعی
Hugging Face اعلام کرد بکاند transformers در vLLM به سرعت بومی یا حتی بالاتر از پیادهسازیهای اختصاصی رسیده و توسعهدهندگان مدلهای زبانی میتوانند بدون هزینه اضافه، استنتاج فوقسریع داشته باشند.
پژوهش
هوش مصنوعی برتر: Mellum2 از JetBrains، مدل 12B Mixture-of-Experts برای پردازش سریع متن و کد
Mellum2 از JetBrains، مدل Mixture-of-Experts 12B با سرعت دو برابری و کارایی بالا، انتخاب Ideal برای پردازش متن و کد در محیطهای چند مدل و سریع.
پژوهش
هوش مصنوعی در دقت بالا: چرخش زمان با torch.profiler در پایتورچ
در این مقاله، به بررسی ابزار torch.profiler در پایتورچ میپردازیم و نکات کلیدی برای پروفایلینگ مدلهای هوش مصنوعی و بهینهسازی سرعت ارائه میکنیم. با این گامها، توسعه دهندگان میتوانند عملکرد مدلهای خود را به طور قابل توجهی بهبود بخشند.
مدلها
هوش مصنوعی در ردهبندی: معرفی Ettin Reranker Family مدلهای برتر
در این گزارش به معرفی شش مدل ردهبندی مبتنی بر Sentence Transformers در خانواده Ettin رندرها میپردازیم؛ با سبک بندی و distillation، عملکرد برشی بر MTEB(eng,v2) و سایر نگهدارندگان نشان میدهد.