در دنیای امروز، مدل‌های زبانی بزرگ مانند ChatGPT تحولی عظیم در حوزه هوش مصنوعی ایجاد کرده‌اند. اما اجرای این مدل‌ها معمولاً به منابع محاسباتی سنگین و گران‌قیمت نیاز دارد. در این مقاله از وبلاگ هوش مصنوعی هما، به معرفی راهکاری می‌پردازیم که با استفاده از یک GPU ای‌ام‌دی و فناوری ROCm، اجرای چت‌باتی شبیه ChatGPT را امکان‌پذیر می‌کند.
Vicuna؛ مدل متن‌باز ۱۳ میلیارد پارامتری
Vicuna یک چتبات متن‌باز با ۱۳ میلیارد پارامتر است که توسط تیمی از دانشگاه‌های برکلی، CMU، استنفورد و سن دیگو توسعه یافته. برای ساخت این مدل، نسخه پایهٔ LLAMA با حدود ۷۰ هزار گفتگوی کاربران از مخزن عمومی ShareGPT تنظیم دقیق (Fine-Tune) شده است. نتیجه این کار، مدلی است که توانایی‌های چشمگیری در تولید متن و پاسخگویی به سوالات دارد و به‌عنوان جایگزینی مقرون‌به‌صرفه برای مدل‌های اختصاصی مطرح می‌شود.
اجرای مدل روی یک GPU ای‌ام‌دی با ROCm
یکی از دستاوردهای مهم در حوزه متن‌بازی هوش مصنوعی، امکان اجرای مدل‌های بزرگ روی سخت‌افزارهای در دسترس است. با استفاده از پشته نرم‌افزاری ROCm که توسط AMD ارائه شده، می‌توان مدل Vicuna را روی یک کارت گرافیک معمولی اجرا کرد. این کار نیاز به زیرساخت‌های عظیم ابری را حذف کرده و توسعه‌دهندگان را قادر می‌سازد تا چتبات اختصاصی خود را با هزینه کمتر بسازند.
- استفاده از ROCm برای شتاب‌دهی سخت‌افزاری بر روی GPUهای AMD
- اجرای مدل ۱۳ میلیارد پارامتری Vicuna روی یک کارت گرافیک
- کاهش هزینه‌ها نسبت به راهکارهای ابری و اختصاصی
- امکان بهینه‌سازی بیشتر با تکنیک GPTQ برای کوانتیزه کردن مدل
جمع‌بندی و گام‌های آینده
در بخش پیوست مقاله، تکنیک GPTQ برای کوانتیزه کردن مدل معرفی شده است که می‌تواند حافظه مصرفی را کاهش داده و اجرای مدل را حتی روی سخت‌افزارهای محدودتر ممکن کند. این پیشرفت‌ها نشان‌دهنده حرکت سریع جامعه متن‌باز به سمت دموکراتیزه کردن هوش مصنوعی است. با ابزارهایی مانند ROCm و مدل‌های کارآمد، به‌زودی هر توسعه‌دهنده‌ای می‌تواند دستیار گفتگوی اختصاصی خود را بسازد.
پرسش‌های پرتکرار
آیا اجرای Vicuna روی یک GPU AMD به دانش فنی خاصی نیاز دارد؟
بله، استفاده از ROCm و تنظیمات مربوطه نیازمند آشنایی با محیط لینوکس و خط فرمان است، اما مستندات موجود فرآیند را ساده کرده‌اند.
آیا مدل Vicuna از نظر عملکرد با ChatGPT قابل مقایسه است؟
Vicuna با ۱۳ میلیارد پارامتر، در برخی ارزیابی‌ها توانسته نزدیک به ChatGPT عمل کند، اما اندازه و کیفیت داده آموزشی باعث تفاوت‌هایی می‌شود.
