ONNX Runtime چیست؟

\n

ONNX Runtime یک موتور نسل‌بعدی یادگیری ماشین چندسکلی است که بر روی پلتفرم‌های مختلف اجرا می‌شود و امکان اجرای مدل‌های بالانس‌شده با فرمت ONNX را فراهم می‌کند.

\n

اقدام Hugging Face بر ترویج مدل‌های باز

\n

Hugging Face با بیش از ۱۳۰,۰۰۰ مدل دارای پشتیبانی ONNX، پایدارترین دسترسی به یادگیری ماشین را در قالب متن‌باز برای جامعه علمی و توسعه‌دهندگان فراهم کرده است.

\n

چگونه ۱۳۰,۰۰۰ مدل سرعت‌بندی می‌شوند؟

\n

انتقال سریع و مؤثر مدل‌ها به فرمت ONNX، فعال‌سازی GPU و بهینه‌سازی‌های معماری، به کاهش تاخیر (معمولاً تا ۷۴٪) و افزایش عملکرد می‌انجامد.

\n
    \n
  • کاهش تاخیر به ۲۵٪ در مقایسه با PyTorch
    • \n
  • پشتیبانی از بیش از ۹۰ معماری مدل از جمله LLM و Whisper
    • \n
  • یکپارچگی ساده با API های Hugging Face بدون کدنویسی
    • \n

پرسش‌های پرتکرار

آیا ONNX Runtime فقط برای مدل‌های Hugging Face کاربرد دارد؟

نه، این ابزار کراس پلتفرم است و می‌تواند برای مدل‌های مختلف یادگیری ماشین استفاده شود.

آیا می‌توانم مدل‌های خود را به فورم ONNX تبدیل کنم تا از قابلیت‌های آن بهره‌مند شوم؟

بله، تبدیل مدل به فرمت ONNX ساده است و Hugging Face مستنداتی در این خصوص دارد.