شرکت هانگینگ فیس که به عنوان یکی از پیشگامان متن‌باز در حوزه هوش مصنوعی شناخته می‌شود، به تازگی از کانتینر استنتاج جدیدی برای مدل‌های زبانی بزرگ (LLM) در Amazon SageMaker رونمایی کرده است. این کانتینر که با هدف ساده‌سازی استقرار مدل‌ها در محیط‌های امن و مدیریت‌شده طراحی شده، بر پایه کتابخانه متن‌باز Text Generation Inference (TGI) ساخته شده است.

کانتینر استنتاج LLM هانگینگ فیس چیست؟

کانتینر استنتاج Hugging Face LLM یک راهکار اختصاصی برای بارگذاری و اجرای مدل‌های زبانی بزرگ است. این محصول جدید از موتور TGI بهره می‌برد که به طور خاص برای اجرای کارآمد مدل‌های پرطرفدار متن‌باز همچون StarCoder، BLOOM، GPT-NeoX، Llama و T5 توسعه یافته است. به لطف این موتور، توسعه‌دهندگان می‌توانند با خیال راحت مدل‌های خود را مقیاس‌پذیر و با عملکرد بالا اجرا کنند.

مزایا و ویژگی‌های کلیدی

مهم‌ترین مزیت این کانتینر، ترکیب امنیت سرویس‌های ابری آمازون با قابلیت‌های پیشرفته TGI است. از جمله ویژگی‌های برجسته آن می‌توان به موارد زیر اشاره کرد:

  • پشتیبانی از موازی‌سازی تنسور (Tensor Parallelism) برای پردازش سریع‌تر
  • استفاده از بسته‌بندی پویا (Dynamic Batching) برای بهره‌وری هرچه بیشتر از منابع
  • استقرار آسان و امن در محیط مدیریت‌شده Amazon SageMaker
  • سازگاری با مدل‌های متن‌باز محبوب و پرکاربرد
  • به کارگیری موفق توسط شرکت‌هایی مانند IBM

یک مثال کاربردی: استقرار Open Assistant 12B

در پست معرفی این محصول، تیم هانگینگ فیس نشان داد که چگونه می‌توان مدل Open Assistant 12B را که یک مدل چت متن‌باز آموزش‌دیده با دیتاست Open Assistant است، به سادگی روی Amazon SageMaker مستقر کرد. مراحل این کار شامل راه‌اندازی محیط توسعه، دریافت کانتینر، استقرار مدل، اجرای استنتاج و نهایتاً ساخت یک رابط گفتگوی گرادیو (Gradio) است.

جمع‌بندی و چشم‌انداز

این حرکت هانگینگ فیس نشان‌دهنده عزم جدی این شرکت برای دموکراتیک‌سازی دسترسی به هوش مصنوعی است. با ارائه ابزارهایی که استقرار مدل‌های بزرگ را ساده‌تر می‌کنند، کسب‌وکارها می‌توانند سریع‌تر از قبل از قدرت مدل‌های زبانی بهره‌مند شوند. انتظار می‌رود این کانتینر جدید نقش مهمی در توسعه نسل آینده سرویس‌های مبتنی بر هوش مصنوعی ایفا کند.

پرسش‌های پرتکرار

کانتینر استنتاج هانگینگ فیس برای SageMaker چیست؟

این کانتینر یک راهکار اختصاصی برای استقرار مدل‌های زبانی بزرگ در Amazon SageMaker است که با استفاده از موتور متن‌باز Text Generation Inference عملکرد بالایی ارائه می‌دهد.

از چه مدل‌هایی در این کانتینر پشتیبانی می‌شود؟

مدل‌های متن‌باز محبوبی مانند StarCoder، BLOOM، GPT-NeoX، Llama و T5 به طور کامل پشتیبانی می‌شوند.