مدل‌های زبانی بزرگ جما (Gemma) که توسط گوگل دیپ‌مایند توسعه یافته‌اند، اکنون به‌صورت متن‌باز در اختیار جامعهٔ هوش مصنوعی قرار گرفته‌اند. این مدل‌ها در دو اندازهٔ ۲ میلیارد و ۷ میلیارد پارامتر و در دو نسخهٔ از پیش آموزش‌دیده و تنظیم‌شده با دستورالعمل (instruction-tuned) ارائه می‌شوند. در این مقاله، روش‌های تنظیم دقیق کارآمد پارامتر (PEFT) برای این مدل‌ها با استفاده از کتابخانه‌های Transformers و PEFT در Hugging Face بررسی می‌کنیم.

چرا تنظیم دقیق کارآمد پارامتر (PEFT) مهم است؟

آموزش کامل یک مدل زبانی بزرگ میلیاردها پارامتر، نیازمند منابع محاسباتی عظیم و زمان زیاد است. روش‌های PEFT با ثابت نگه‌داشتن وزن‌های اصلی و آموزش تنها تعداد کمی از پارامترهای اضافی، هزینه و زمان را به‌شدت کاهش می‌دهند. این کار برای افرادی که می‌خواهند مدل را روی داده‌های خودشان سفارشی کنند، حیاتی است.

تنظیم دقیق Gemma با LoRA روی GPU

یکی از محبوب‌ترین روش‌های PEFT، کاهش مرتبهٔ کم (Low-Rank Adaptation یا LoRA) است. در این روش، ماتریس‌های وزنی کوچکی به لایه‌های مدل اضافه می‌شود که فقط همین ماتریس‌ها آموزش می‌بینند. کتابخانهٔ PEFT در Hugging Face پیاده‌سازی ساده و کارآمدی از LoRA ارائه می‌دهد که با Transformers سازگار است. برای اجرا نیز می‌توانید از GPU رایگان کولب (Colab) استفاده کنید.

تنظیم دقیق روی TPU با FSDP و SPMD

برای مقیاس‌های بزرگ‌تر یا آموزش روی TPU، می‌توان از روش داده‌محور کاملاً همگام (FSDP) با مدل SPMD استفاده کرد. این روش در PyTorch و با کمک کتابخانهٔ Accelerate پیاده‌سازی می‌شود. کاربران TPU نیز می‌توانند از همین روش برای تنظیم دقیق مدل‌های جما بهره ببرند.

در دسترس بودن و مراحل بعدی

مدل‌های جما علاوه بر Hugging Face، از طریق TGI، Vertex Model Garden و Google Kubernetes Engine در دسترس هستند. این تنوع پلتفرم، استقرار و تنظیم دقیق را برای توسعه‌دهندگان بسیار آسان کرده است.

  • دو اندازه: ۲ میلیارد و ۷ میلیارد پارامتر
  • دو نسخه: pretrained و instruction-tuned
  • پشتیبانی از GPU و TPU
  • پشتیبانی از روش‌های PEFT مانند LoRA
  • قابل استفاده در TGI، Vertex Model Garden و GKE

در پایان، برای شروع، کافی است مدل جما را از Hugging Face بارگیری کرده و با استفاده از کتابخانه‌های Transformers و PEFT، فرایند تنظیم دقیق را روی داده‌های خود آغاز کنید.

پرسش‌های پرتکرار

مدل‌های جما چه اندازه‌ها و نسخه‌هایی دارند؟

مدل‌های جما در دو اندازه ۲ و ۷ میلیارد پارامتر و با دو نسخه از پیش آموزش‌دیده و تنظیم‌شده برای دستورالعمل منتشر شده‌اند.

برای تنظیم دقیق جما روی TPU از چه روشی استفاده کنیم؟

روش FSDP با مدل SPMD و کتابخانه Accelerate، روش پیشنهادی برای تنظیم دقیق روی TPU است.