مقدمه
مدل‌های ترنسفورمر همچنان در حال فزونی و قدرت‌کشی هستند؛ اما همین این رشد باعث می‌شود مشکلات حافظه و سرعت نیز بروز کنند. در این مورد، ریشه در حجم پارامترهای ابرحسّمپر‌گیری و هزینه‌های محاسباتی است.
کوئنتی‌سازی 8‑بیتی و صفر افت کیفیت
کوئنتی‌سازی به مجموعه تکنیک‌های تبدیل داده‌های عددی از دقت بالا به فرمت کم‌هزینه می‌پردازد. روش‌های 8‑بیتی در این زمینه، معمولاً همان دقت مدل را نگه می‌دارند (zero‑degradation) و در عین حال مصرف حافظه را تا ۸ برابری کاهش می‌دهند.
نحوه ادغام با bitsandbytes و Accelerate
پلتفرم bitsandbytes یک کتابخانه متن‌باز است که پایگاه ذخیره‌سازی و اجرای مدل‌های 8‑بیتی را فراهم می‌کند. زمانیکه در کنار Accelerate در جنگ رویکردهای موازی‌سازی، می‌توان این دو را به‌خوبی یکپارچه کرد و سرعت پردازش را در GPUهای قدیمی نیز بهبود داد.
- کاهش مصرف حافظه تا ۸ برابر
- سرعت اجرا در GPUهای قدیمی (Kepler، GTX 1080)
- ساده‌سازی آموزش مدل‌های بزرگ، با پارامتر 10M تا 10B
- پشتیبانی از حافظه‌های CPU و ذخیره‌سازی در هاب HuggingFace
پرسش‌های پرتکرار
کدام مدل‌های ترنسفورمر از 8‑بیتی بهره‌برند؟
مدل‌های T5، BERT، GPT‑2 و مدل‌های بزرگ‌تر مانند PaLM نسخه‌ای از 8‑بیتی را پشتیبانی می‌کنند.
آیا 8‑بیتی سرعت را به‌طور قابل‌ملاحظه‌ای افزایش می‌دهد؟
بله، در مدل‌های کوچک و متوسط افزایش سرعت در چند برابر در GPUهای قدیمی قابل مشاهده است.
