همکاری مهم بین 🤗 Hugging Face و Intel

در ابتدای ماه جولای ۲۰۲۲، دو شرکت بزرگ در حوزه هوش مصنوعی، Hugging Face و Intel پیمان همکاری‌ برای توسعه ابزارهای شتاب‌دهی سخت افزار برای مدل‌های ترنسفورمر را اعلام کردند. در این پیغام خبری ما، جدیدترین گام در این همکاری را بررسی می‌کنیم.

چگونه می‌توان با OpenVINO سرعت مدل‌ها را بیشتر کرد؟

یکپارچه‌سازی OpenVINO در پکیج Optimum Intel اجازه می‌دهد تا با چندین خط کد، مدل‌های Transformers را بدون هیچ تغییر کدنویسی، روی پردازشگرهای Intel (x86، ARM، GPU و …) اجرا کنید. توسعه‌کاران می‌توانند مدل را از مدل‌های پروتایپ یا «hub» Hugging Face بیاورند و مستقیماً به روند Inference و پیش‌بینی بپردازند.

  • دستگاه‌های پشتیبانی‌شده از پردازنده‌های Intel iCPU، Xeon و GPUهای Intel® Xe.
  • کاهش تاخیر پیش‌بینی به سطح میلی‌ثانیه‌های ناشی از نشت بساط معرکه.
  • تكیف‌پذیری به‌وسیله‌ی «Post‑Training Static Quantization» و “Quantization‑Aware Training”.
  • پیشنهاد پیشرفت در نسخه‌های بعدی OpenVINO برای مدل‌های Encoder‑Decoder.

پیکربندی و راه‌اندازی سریع با Optimum Intel

برای فعال‌سازی زیرساخت، فقط کافی است به دستور pip install optimum[openvino] بپردازید و سپس مدل مورد نظر را بر روی OpenVINO راه‌اندازی کنید. برای مثال، برای بارگزاری یک مدل BERT معیاری به‌صورت زیر اقدام می‌کنیم:

from optimum.intel import OVModelForSequenceClassification model = OVModelForSequenceClassification.from_pretrained("bert-base-uncased", export=True)

پس از اتمام فرایند، مدل به‌صورت فشرده (quantized) با استفاده از OpenVINO Neural Network Compression Framework ذخیره می‌شود و آماده‌ی سرویس‌دهی در محیط‌های تولیدی می‌گردد.

کاهش حجم و بهبود سرعت با NNCF

افزودن چارچوب OpenVINO Neural Network Compression Framework (NNCF) به معنای توانایی کم کردن حجم مدل زیر ۵۰٪ و همچنین کاهش زمان پیش‌بینی تا ۴۰٪ از نسخه اولیه در حد اکثر یک تا دو دقیقه در طول یک دوره آدرس‌بندی شده است. این قابلیت به افراد و شرکت‌هایی که سخت‌افزار محدودی دارند، کمک می‌کند تا مدل‌های پیچیده‌تر را در داینامیک سریع اجرا کنند.

چرا این یک گام مهم است؟

این همکاری نه‌تنها باعث شفاف‌سازی و دموکراتیزه‌سازی هوش مصنوعی می‌شود، بلکه به چالش‌برانگیزترین مشکلات زمان واکنشی و مصرف منابع در دنیای واقعی پاسخ می‌دهد. توسعه‌کاران و شرکت‌ها می‌توانند مدل‌های state‑of‑the‑art را به‌صورت ساده، سریع و مقرون‌به‌صرفه، به‌روزرسانی و رونق بخشند.

پرسش‌های پرتکرار

OpenVINO چیست و چگونه در مدل‌های هوش مصنوعی کار می‌کند؟

OpenVINO مخفف Open Vision Inference Neural Network است؛ یک رابط نرم‌افزاری تحت‌الملل‌برداری برای اجرای مدل‌های یادگیری عمیق روی سخت‌افزارهای Intel. این چارچوب شامل ابزارهای بهینه‌سازی، فشرده‌سازی و شتاب‌دهی است که باعث کاهش تاخیر پیش‌بینی و بار مصرف می‌شود.

آیا می‌توان مدل‌های PyTorch را به آسانی با OpenVINO تبدیل کرد؟

بله. با نصب بسته <code>optimum[openvino]</code> می‌توانید هر مدل PyTorch یا مدل‌های از Hugging Face Hub را با چند خط کد به فرمت OpenVINO تبدیل و اجرا کنید. شامل امکان کم کردن حجم مدل (کوانتیزیشن) و اجرا روی چندین دستگاه CPU/GPU Intel است.