پژوهش
بهینهسازی صف درخواست در هوش مصنوعی: سروری هوشمند برای بارگذاری موازی مدلها
در این مقاله به چالشهای همزمانسازی دسترسی به مدلهای بزرگ زبان پرداخته و راهکارهای صفبندی عادلانه، مانع از بلوک شدن کاربران قدرتمند و بهینهسازی مصرف GPU میشود برای بهبود کارایی و بهرهوری شبکههای هوش مصنوعی.
محصولات
هاگینگ فیس: جهشی در تحلیل بیدرنگ عملکرد نقاط پایانی هوش مصنوعی
هاگینگ فیس داشبورد تحلیل عملکرد نقاط پایانی استنتاج خود را بهروزرسانی کرد. اکنون کاربران به معیارهای بیدرنگ، بارگذاری سریعتر دادهها و پایش دقیقتر برای استقرار بهینه مدلهای هوش مصنوعی دسترسی دارند.
اخبار
پیوستن Fireworks.ai به Hugging Face بهعنوان ارائهدهنده استنتاج: سرعت بالاتر برای هوش مصنوعی
پلتفرم Fireworks.ai بهصورت رسمی به اکوسیستم Hugging Face پیوست تا کاربران از استنتاج سرورلس سریعتر برای مدلهای هوش مصنوعی محبوب بهرهمند شوند.
محصولات
هوش مصنوعی در Hub: اجرای سرویس سرورلس میان فالس، ریپلیکیت و سامبد و توگدرف API
Hub هوش مصنوعی با اپلیکیشن سرورلس جدید، کارکرد سناریوهای Falcon و Replicate را تسهیل کرده و به کاربران امکان اجرای مدلهای سرورلس و سریع را میدهد.