سخت‌افزار
Hugging Face راه‌اندازی endpointهای هوش مصنوعی بر روی AWS Inferentia2
پلتفرم Hugging Face با معرفی endpointهای جدید مبتنی بر AWS Inferentia2 امکان قیمتپذیر و سریع‌تر اجرای بیش از 100,000 مدل هوش مصنوعی را فراهم کرده است.
اخبار
هوش مصنوعی در AWS: عرضه عمومی Text Generation Inference برای Inferentia2
هاگینگ فیس از در دسترس بودن عمومی Text Generation Inference روی AWS Inferentia2 و SageMaker خبر داد؛ راهکاری جدید برای استقرار مدل‌های زبانی بزرگ بدون نیاز به GPU.
سخت‌افزار
هوش مصنوعی: سرعت جان‌دادانه‌ای برای Llama 2 روی AWS Inferentia2
AWS Inferentia2 با همکاری Hugging Face و optimum‑neuron، Llama 2 را برای تولید متن به سرعتی بی‌سابقه بر روی سرورها می‌شکند. در این مقاله نقشه راه و نتایج آزمایشات را بررسی می‌کنیم.
پژوهش
سرعت‌گذاری مدل‌های ترنسفورمر به کمک AWS Inferentia2 در هوش مصنوعی
AWS Inferentia2، سخت‌افزار جدید ابری، توانایی شتاب‌زده‌سازی مدل‌های ترنسفورمر هفینگ فیس را افزایش داده و هزینه‌های اجرایی را به شکل چشمگیری کاهش می‌دهد. انطباق با پلتفرم هفینگ فیس امکان استفاده آسان از ترنسفورمری را در پروژه‌های عملی فراهم می‌کند.