AutoRound چیست؟

این ابزار کوانتایزیشن وزن-فقط (PTQ) توسط شرکت اینتل توسعه یافته است تا مدل‌های بزرگ زبانی (LLMs) و مدل‌های ویژن-زبان (VLMs) را در ابعاد پایین‌رخویی (مثلاً INT2 – INT8) با حفظ دقت بالا تبدیل کند.

مزایای اصلی و قابلیت‌های فنی

  • دقت بالا در پایین‌رخویی‌های 2 تا 8 بیت
  • سازگاری گسترده با انواع ابزار و دستگاه‌ها: CPU، GPU و CUDA
  • پیکربندی‌های قابل تنظیم و امکان تبدیل مدل‌های GPTQ و AWQ به AutoRound
  • سازگاری با فرمت‌های ذخیره‌سازی و اسکریپت‌های Export

AutoRound با استفاده از نزول گرادیان ناپیچ شده، حد و نانجونی وزن‌ها را بهینه می‌کند و این فرآیند باعث کاهش حجم مدل تا ۳۰٪ و کاهش زمان پاسخ به ۵۰٪ می‌شود.

چگونه می‌توان از ابزار AutoRound استفاده کرد؟

برای استفاده، کافی است کدهای زیر را در خط فرمان اجرا کنید یا از AutoRound API فراخوانی نمایید. مستندات کامل در مستر رپوزیتوری GitHub موجود است و می‌توانید از نسخه‌های پیش‌بینی‌شده برای تولید یا آموزش استفاده کنید.

پرسش‌های پرتکرار

AutoRound در چه مواقعی بهترین عملکرد را دارد؟

زمانی که مدل LLM یا VLM به دنبال بهینه‌سازی حجم و سرعت بخشیدن به پردازش در محیط‌های محدود است، AutoRound می‌تواند با دقت بالا در بیت‌های 2 تا 8 کار کند.

آیا AutoRound رایگان است؟

بله، AutoRound یک پروژه متن‌باز از اینتل است و می‌تواند بدون هزینه و با رعایت مجوز MIT در پروژه‌های شخصی یا تجاری استفاده شود.