مقدمهٔ علمی و جامعه‌محور
Hugging Face با هدف تسهیل و گسترش هوش مصنوعی از طریق منابع باز، برنامهٔ Infinity را معرفی کرد که به گونهٔ فراگیر، پردازش مدل‌های بزرگ را در زمان‌های میلی‌ثانیه‌ای امکان‌پذیر ساخت.
روش‌شناسی و مقیاس‌سنجی
سرویس Infinity بر روی چهار پردازندهٔ جدید شکل گرفت: دیفرانسیل مدل، کوئری سریع، تخمین و ذخیرهٔ مقادیر تغییرپذیر و نتایج برچسبی. از CPUهای بستهٔ Intel i7 12600K و AMD Ryzen 9 7950X استفاده شد که برای بررسی دقیق در محیط Benchmarks به کار رفته‌اند.
نتایج چشمگیر سرعت و کارایی
با میانگین 0.9 میلی‌ثانیه برای پاسخ مدل‌های زبانی، توربو لوژیک استقلالی حداکثر ۱۵۰ mil/second در تولید متن نمایش داد. تأثیرگذاری این دستاورد در کاربردهای حقیقی، از جمله چت‌بات‌های سریع و دستیارهای صوتی، نه‌تنها چشمگیر بوده است.
مدیریت وامکانات جایگزین (آخرین 2022)
به‌روزرسانی‌های سال ۲۰۲۲ سرنخ می‌دهد که افزونهٔ Infinity به‌عنوان سرویس تجاری در دسترس نیست. به‌جای آن، Hugging Face سه راهکار ارائه کرده است: ۱) Inference Endpoints؛ ۲) کتابخانهٔ Optimum Intel و Optimum ONNX Runtime؛ و ۳) Expert Acceleration Program برای شرکت‌ها.
پیشنهاد عملی برای توسعه‌دهندگان
با استفاده از کتابخانه‌های سطح پایین مثل Optimum، می‌توان توابع موازی و QLoRA را به‌راحتی به درستی تنظیم کرد. برای راه‌اندازی سریع، ایجاد یک endpoint و استفاده از Log Analytics بر روی مدل، نکتهٔ اول است.
- بهینه‌سازی مدل با تکنیک مربعی QLoRA
- استفاده از BW/RT: بهترین ترکیب سرعت و مصرف انرژی
- استفاده از API سفارشی برای تجربهٔ کاربر
نتیجه‌گیری
تحقیق نشان می‌دهد که با مدلی مناسب، سخت‌افزارهای بدون دسترس می‌توانند همانند سرورها در عرصهٔ هوش مصنوعی کار کنند. گام بعدی، چرخش به سرویس‌های مدیریتی مانند Inference Endpoints است برای رشد پویا و اسکیل‌پذیری.
پرسش‌های پرتکرار
Hugging Face Infinity هنوز در دسترس هست؟
خیر، از نوامبر 2022 سرویس Infinity به صورت تجاری غیرفعال شده است؛ اما راهکارهای جایگزین پیشنهاد شده‌اند.
چگونه مدل‌های خود را بر روی Inference Endpoints راه‌اندازی کنم؟
با ورود به داشبورد Hugging Face، بخش Inference Endpoints را انتخاب کرده و دستورالعمل‌های گام‌به‌گام را پیروی کنید. تمامی مستندات در راهنمای رسمی موجود است.
