اجرا کردن مدل‌های زبانی بزرگ دیگر مختصر دیتاسنترها و سرورهای ابری نیست. تیم‌های هاگینگ فیس و اینتل در مقاله‌ای مشترک که ۲۰ مارس ۲۰۲۴ منتشر شد، نشان دادند چگونه می‌توان یک چت‌بات هوش مصنوعی مبتنی بر مدل Phi-2 مایکروسافت را روی لپ‌تاپ‌های معمولی مجهز به پردازنده‌های نسل متئور لیک اجرا کرد. این دستاورد گامی مهم در مسیر دموکراتیک کردن هوش مصنوعی از طریق متن‌باز بودن و علم باز به شمار می‌رود.
چرا استنتاج محلی مدل‌های زبانی ارزشمند است؟
مدل‌های زبانی بزرگ به دلیل توانایی‌های چشمگیر خود به توان پردازشی بالایی نیاز دارند و به همین دلیل معمولاً روی سرورهای اختصاصی ابری یا داخلی مستقر می‌شوند. اما اگر بتوان بهترین مدل‌های متن‌باز را روی یک رایانه شخصی معمولی اجرا کرد، مزایای قابل‌توجهی به دست می‌آید:
- حفظ حریم خصوصی: داده‌های کاربر برای پردازش به سرورهای خارجی ارسال نمی‌شود.
- کاهش هزینه: نیازی به پرداخت هزینه سرویس ابری یا نگهداری سرور نیست.
- استقلال از اینترنت: چت‌بات حتی در حالت آفلاین نیز کار می‌کند.
- تاخیر کمتر: پردازش روی دستگاه، سرعت پاسخ‌گویی را افزایش می‌دهد.
مانع اصلی: کمبود توان پردازشی لپ‌تاپ‌ها
با وجود جذابیت این ایده، تاکنون اجرای روان مدل‌های زبانی روی لپ‌تاپ‌های اقتصادی ممکن نبود؛ این دستگاه‌ها فاقد پردازنده‌های گرافیکی با هزاران هسته و حافظه با پهنای باند بالا برای استنتاج سریع مدل‌ها هستند. همین محدودیت سخت‌افزاری، کاربران را به سرورهای قدرتمند وابسته نگه داشته بود.
Phi-2 و پردازنده متئور لیک؛ زوج برنده اجرای روی دستگاه
مدل Phi-2 مایکروسافت یک مدل زبانی کوچک با ۲.۷ میلیارد پارامتر است که با وجود ابعاد جمع‌وجور، عملکردی چشمگیر در تولید متن و پاسخ‌گویی دارد. از سوی دیگر، پردازنده‌های متئور لیک اینتل با معماری ترکیبی پردازنده اصلی، گرافیکی و واحد شتاب‌دهنده هوش مصنوعی، بستری مناسب برای اجرای مدل‌های مولد روی لپ‌تاپ فراهم می‌کنند.
نقش کوانتیزاسیون با OpenVINO و Optimum Intel
کلید اصلی این دستاورد، کوانتیزاسیون مدل است؛ یعنی فشرده‌سازی وزن‌های مدل برای کاهش حجم و افزایش سرعت استنتاج با کمترین افت کیفیت. ابزار OpenVINO اینتل و کتابخانه Optimum Intel در هاگینگ فیس این فرایند را ساده کرده‌اند و بهینه‌سازی Phi-2 برای سخت‌افزار اینتل را ممکن می‌سازند. نتیجه، اجرای روان یک چت‌بات کاربردی مستقیماً روی لپ‌تاپ است.
جمع‌بندی
همکاری هاگینگ فیس و اینتل نشان می‌دهد آینده هوش مصنوعی تنها در ابر خلاصه نمی‌شود؛ ترکیب مدل‌های کوچک‌تر و بهینه، سخت‌افزارهای مصرفی جدید و ابزارهای متن‌باز، اجرای هوش مصنوعی مولد روی دستگاه‌های شخصی را از رؤیا به واقعیت تبدیل کرده است. انتظار می‌رود در ماه‌های آینده شاهد نمونه‌های بیشتری از کاربردهای هوش مصنوعی روی دستگاه باشیم.
پرسش‌های پرتکرار
آیا امکان اجرای مدل‌های زبانی روی لپ‌تاپ معمولی وجود دارد؟
بله؛ با ترکیب مدل‌های کوچکی مانند Phi-2، پردازنده‌های مجهز به شتاب‌دهنده هوش مصنوعی مانند متئور لیک اینتل و تکنیک کوانتیزاسیون با OpenVINO، اجرای چت‌بات روی لپ‌تاپ ممکن شده است.
مزایای استنتاج محلی هوش مصنوعی چیست؟
حفظ حریم خصوصی داده‌ها، حذف هزینه‌های سرور ابری، امکان کارکرد آفلاین و کاهش تاخیر پاسخ‌ها از مهم‌ترین مزایای اجرای محلی مدل‌های زبانی هستند.
