سرعت‌گذاری مدل‌های ترنسفورمر به کمک AWS Inferentia2 در هوش مصنوعی

معرفی AWS Inferentia2

AWS Inferentia2 یک پردازندهٔ اختصاصی برای شتاب دهی مدل‌های یادگیری ماشین، به ویژه ترنسفورمرها، است. این سخت‌افزار با استفاده از معماری SiPU شتاب‌زده‌سازی‌های موازی، یادگیری‌های عمیق را به طرز قابل توجهی سریع‌تر می‌کند.

تابقت مدل‌های ترنسفورمر در AWS

با پیش‌دسترس شدن ابزار accelerate هفینگ فیس، مهندسان قادر به بهره‌برداری آسان از پیش‌بینی‌های مدل‌های بزرگی مانند BERT‑Base و Vision Transformer در محیط AWS هستند. این کار، خط لولهٔ پردازش از ذخیره‌سازی تا استقرار را بهینه می‌کند.

نتایج بنچمارک BERT‑Base و Vision Transformer

بررسی سریع نشان داد که مدل‌های BERT‑Base در Inferentia2 سرعت پیش‌بینی خود را نسبت به CPU به‌صورت 8 برابری افزایش می‌دهد و Vision Transformer در همان زمان می‌تواند با سرعت 10 برابر به‌دست آید. این بهبود‌ها باعث کاهش هزینهٔ سرور و زمان انتظاری برای کاربران می‌شود.

• کاهش هزینهٔ ۳۰٪ برای استقرار مدل‌های LLM
• زمان پاسخ 90٪ کمتری در مقایسه با GPUهای عمومی
• یکپارچه‌سازی ساده در سرویس Inference Endpoints هفینگ فیس

پرسش‌های پرتکرار

Inferentia2 چگونه کار می‌کند؟

این پردازنده از معماری SiPU استفاده می‌کند که پردازش‌های موازی را برای وزن‌های مدل‌های AI تسهیل می‌کند و به سادگی به مدل‌های نصب‌شده بر روی سرورهای AWS متصل می‌شود.

آیا نیاز به تغییر در مدل‌های موجود وجود دارد؟

بسیاری از مدل‌های هفینگ فیس می‌توانند بدون تغییر، در Inferentia2 کار کنند. فقط نیاز به بروز رسانی پیکربندی‌های `accelerate` یا انتخاب درایور مناسب دارد.