معرفی مدل PaliGemma 2
Google در آخرین بروز رسانی خود، نسخهٔ جدیدی از مدل زبان-دید با نام PaliGemma 2 را معرفی کرده است. این مدل با استفاده از معماری SigLIP برای پردازش تصویر و Gemma 2 به‌عنوان بخش دیکودر متن، قدرت تحلیل و تولید متن را بر مبنای تصویر به‌صورت کارآمد فراهم می‌کند.
ویژگی‌های کلیدی
- در دسترس در سه متغیر 3B، 10B و 28B پارامتر.
- پشتیبانی از رزولوشن‌های 224×224، 448×448 و 896×896 که امکان انتخاب توانایی پردازش از سبک تا کلاسیه را فراهم می‌آورد.
- مدل‌های پیش‌آموزش‌دیده شده برای تسک‌های مختلف به‌صورت‌ی ساده برای fine‑tuning فراهم شده‌اند.
- یکپارچه با فریم‌ورک Transformers و مستندات جامع.
- آرایش‌بندی آزاد و open‑source؛ امکان استفاده از آن در پروژه‌های شخصی و تحقیقاتی بدون هزینه.
نحوه‌ی استفاده و آموزش
برای بهره‌برداری از PaliGemma 2 می‌توان به‌سادگی از متدهای from_pretrained در کتابخانه Transformers استفاده کرد. کد نمونه زیر نشان می‌دهد چگونه مدل 10B را با رزولوشن 448×448 بارگذاری کنیم و آن را برای یوهی خاص fine‑tune کنیم:
from transformers import PaliGemmaForConditionalGeneration, PaliGemmaProcessor model = PaliGemmaForConditionalGeneration.from_pretrained("google/palimggma-2-10b") processor = PaliGemmaProcessor.from_pretrained("google/palimggma-2-10b")اولین گام، آماده‌سازی دیتاست مناسب است؛ سپس می‌توانید از آموزش با GPU یا سرویس‌های ابری برای به‌دست آوردن دقت بالا بهره ببرید.
علاوه بر آن چه دیگران می‌توانند بکار بگیرند؟
با توجه به ساختار بازآرایی متن-تصویر، کاربردهای این مدل در حوزه‌های زیر شایان بررسی است: شناسایی اشیاء با توضیحات متنی، تولید خلاصه تصاویر، و پیاده‌سازی ربات‌های تعاملی هوشمند.
پرسش‌های پرتکرار
PaliGemma 2 چیست؟
PaliGemma 2 نسخهٔ پیشرفته‌ای از مدل زبان-دید است که توسط گوگل توسعه یافته و در سه نسخهٔ 3B، 10B و 28B پارامتر منتشر شده است؛ این مدل در پردازش تصویر و تولید متن همزمان تخصص دارد.
چگونه می‌توان از PaliGemma 2 در پروژه‌های خود بهره برد؟
با نصب کتابخانهٔ Transformers و استفاده از متدهات <code>from_pretrained</code> می‌توانید مدل را بارگذاری کنید، سپس با دیتاست خود fine‑tune کنید تا برای وظایف خاص مورد نیازتان بهینه شود.
