معرفی پروژه و اهداف
کاکائو برین همراه با جامعه‌ی هاجیینگ فیس، نسخه‌ی بازپایه‌ی مدل‌های ViT و ALIGN را منتشر کرده‌اند. این تلاش، به‌عنوان گامی در راستای بازسازی و جمعی‌سازی هوش مصنوعی، انتخابی هوشمندانه برای پژوهشگران و توسعه‌دهندگان بوده است.
ساختار مدل و دیتاست COYO
دیتاست COYO، مجموعه‌ی 700 میلیون جفت تصویر‑متن، بر پایه‌ی اصول شفافیت و دسترسی آزاد ساخته شده است. این دیتاست به‌عنوان منبعی جایگزین برای مجموعه‌های مقیاسی بزرگ گوت (ViT بر روی 300 میلیون تصویر و ALIGN بر روی 1.8 میلیارد جفت) عمل می‌کند تا محققان بتوانند به سادگی کد و داده را به‌دست آورده، مدل‌های خود را آموزش دهند و نتایج را بازتولید کنند.
کاربردها و دسترسی آزاد
نسخه‌های ViT و ALIGN، با همین معماری و هائپرپارامترهای اصلی که در نسخه‌های اولیه‌ی گوگل وجود داشت، ولی از دیتاست COYO آموزش دیده‌اند، امکان استفاده بدون محدودیت را برای برنامه‌نویسان فراهم می‌کنند. این اقدام باعث شفافیت، اعتبارسنجی و امکان توسعهٔ فناوری‌های هوش مصنوعی مبتنی بر تصویر-متن می‌شود.
- دسترسی آزاد و بی‌هزینه به دیتاست و مدل‌ها
- تسهیل بازتولید و بازسازی نتایج پژوهشی
- قابلیت آموزش مدل‌های سفارشی بر پایه‌ی داده‌های معتبر
پرسش‌های پرتکرار
مقایسه‌ی ViT و ALIGN چیست؟
مدل ViT (Vision Transformer) به‌عنوان یک ترنزفورمر متنی طراحی شده و به‌صورت کامل روی تصاویر آموزش می‌بیند، در حالی که ALIGN (A Large-scale Image-Text) برای جفت‌سازی تصویر‑متن طراحی شده و در نهایت دو مدل متفاوت برای تعامل بین تصویر و متن ایجاد می‌کند. در نسخه‌ی بازپایه، هر دو مدل از معماری مشابهی استفاده می‌کنند، اما برای مؤلفه‌ی متنی، ALIGN مدل‌های متعددی دارد که به‌راحتی قابل تنظیم هستند.
چگونه می‌توانم دیتاست COYO را برای آموزش مدل استفاده کنم؟
برای استفاده از دیتاست COYO، ابتدا آن را از گیت هاب یا هاجیینگ فیس دانلود کنید. پس از آن، با فایلی که در مسیر /data/… ذخیره می‌شود، می‌توانید از کدهای آماده‌ی کدبیس هاجیینگ فیس، مجموعه‌ی داده را بارگذاری، پاک‌سازی و به‌نوعی که نیاز دارید تنظیم کنید. سپس از pip install transformers برای بارگذاری مدل‌های ViT یا ALIGN و آموزش آن بر روی دیتاست خود می‌توانید استفاده نمایید.
