چالش‌های آموزش مدل‌های بزرگ در era هوش مصنوعی
مدل‌هایی مانند ترنسفورمرها، سوژه‌پردازهای کد و کارایی‌پذیر شدن تصاویر، به دنبال قدرت محاسبه‌ای فراوان می‌گردند. اندازه‌های این مدل‌ها در حال افزایش و به‌دست آوردن نتایج بهتر، نیازمند زمان و هزینه‌های سنگین می‌شود.
یکپارچه‌سازی Optimum با ONNX Runtime برای آموزش سریعتر
Hugging Face با همکاری تیم ONNX Runtime مایکروسافت، راه حلی را ارائه کرده‌اند که از کتابخانه Optimum برای بهینه‌سازی زمان آموزش بهره می‌برد. این ترکیب به مقاله «سرعت آموزش مدل‌های هوش مصنوعی» نشان می‌دهد که با این رویکرد، زمان آموزش بسیاری از مدل‌های پرطرفدار به‌صورت قابل توجهی کاهش می‌یابد.
نمودارهای عملکرد: ۳۵٪ سریعتر در بسیاری از مدل‌ها
نمودارهای عملکرد، بردارهای دقیق نشان می‌دهند که برای مدل‌های پیش‌فرضی مثل BERT و ResNet، زمان آموزش پس از ادغام Optimum+ONNX Runtime تا ۳۵٪ سریعتر است. این به معنای صرفه‌جویی در پارامترهای منابع و انعطاف‌پذیری بیشتر در پیاده‌سازی‌های صنعتی می‌باشد.
- Optimum برای مدل‌های زبانی، تصویری و صوتی کاربرد دارد.
- انتقال برنامه‌نویسی به ONNX Runtime زمان آموزش را به‌طور چشمگیری کاهش می‌دهد.
- اشتراک‌گذاری کد و مستندات در GitHub برای توسعه‌دهندگان و پژوهشگران.
