در دنیای رو به رشد هوش مصنوعی، مدل‌های چندوجهی نقش کلیدی در درک هم‌زمان متن و تصویر ایفا می‌کنند. اما بسیاری از این مدل‌ها به اجزای جداگانه و پرهزینه نیاز دارند. حالا تیم H company مدل جدیدی به نام NeoMME معرفی کرده است که با یک معماری یکپارچه، هم متن و هم تصویر را پردازش می‌کند. این مدل نویدبخش تحولی در کارایی و دقت مدل‌های زبانی چندوجهی است.
معماری یکپارچه NeoMME؛ غلبه بر پیچیدگی‌های رایج
بیشتر مدل‌های مولد دیداری-زبانی از یک برج بینایی از پیش آموزش‌دیده و یک مدل زبانی علّی استفاده می‌کنند. NeoMME این رویکرد را کنار می‌گذارد و از یک ترنسفورمر دوجهته واحد بهره می‌برد که توکن‌های متنی و پچ‌های خام تصویر را با هم پردازش می‌کند. این مدل از ابتدا با هدف یادگیری ماسک‌شده مبتنی بر انتشار گسسته آموزش می‌بیند و برای اولین بار، تمام اجزا در یک چارچوب هماهنگ و بدون نیاز به پیش‌آموزش‌های جداگانه طراحی شده‌اند.
NeoMME-Retriever: بازیابی هوشمند اسناد بصری
یکی از کاربردهای برجسته NeoMME، بازیابی اسناد بصری است. مدل NeoMME-Retriever با الهام از رویکرد صفحه‌تصویر کول‌پالی، برای بازیابی دقیق صفحات اسناد تنظیم دقیق شده است. این مدل در یک پاس رو به جلو، هم جاسازی‌های متراکم و هم تعاملات دیرهنگام را تولید می‌کند که باعث می‌شود هم سرعت بالا باشد و هم دقت رقابتی حتی در اندازه‌های کوچک مدل حفظ شود. نسخه‌های ۲۶۰ و ۸۰۰ میلیون پارامتری این مدل روی معیار ViDoRe v3 ارزیابی شده‌اند و نتایج قابل توجهی به دست آورده‌اند.
کاربردها و مزایای عملی
طراحی کارآمد NeoMME امکانات متعددی را برای توسعه‌دهندگان و پژوهشگران فراهم می‌کند. این مدل با کتابخانه Sentence Transformers سازگار است و می‌توان آن را به سادگی برای وظایف سفارشی تنظیم دقیق کرد. از جمله کاربردهای کلیدی آن می‌توان به موارد زیر اشاره کرد:
- بازیابی کارآمد اسناد بصری در حجم بالا
- بهبود جستجوی تمام‌متنی در تصاویر و فایل‌های پی‌دی‌اف
- پشتیبانی از سیستم‌های RAG دیداری (Visual RAG)
- کاهش هزینه‌های محاسباتی نسبت به مدل‌های چندبرخی سنتی
- فعال‌سازی وضوح بالا برای بازیابی با تعامل دیرهنگام
آینده مدل‌های چندوجهی با نئو ام‌ام‌ای
معرفی NeoMME نشان می‌دهد که می‌توان بدون اتکا به اجزای پیچیده و پیش‌آموزش‌های مجزا، مدل‌های چندوجهی کارآمد و چندزبانه ساخت. این رویکرد یکپارچه می‌تواند راه را برای سیستم‌های هوش مصنوعی سبک‌تر، سریع‌تر و در دسترس‌تر هموار کند. توسعه‌دهندگان می‌توانند همین امروز مدل‌های NeoMME را از هاب ماگینگ فیس امتحان کنند و در پروژه‌های بازیابی اسناد و سیستم‌های پرسش‌وپاسخ تصویری به کار گیرند.
در مجموع، NeoMME گامی مهم در جهت همگرایی مدل‌های زبانی و بینایی است. رویکرد نوآورانه آن نه‌تنها دقت را افزایش می‌دهد، بلکه پیاده‌سازی را نیز برای تیم‌های کوچک‌تر ممکن می‌سازد. احتمالاً در آینده شاهد کاربردهای گسترده‌تری از این خانواده مدل‌ها در صنایع مختلف خواهیم بود.
پرسش‌های پرتکرار
NeoMME چه تفاوتی با مدل‌های چندوجهی رایج دارد؟
NeoMME از یک ترنسفورمر دوجهته واحد برای پردازش متن و تصویر استفاده می‌کند و به برج بینایی یا مدل زبانی علّی جداگانه نیازی ندارد. این مدل از ابتدا با هدف یادگیری ماسک‌شده مبتنی بر انتشار گسسته آموزش می‌بیند که باعث سادگی و کارایی بالاتر می‌شود.
کاربرد اصلی NeoMME-Retriever چیست؟
NeoMME-Retriever برای بازیابی اسناد بصری طراحی شده است. با تولید هم‌زمان جاسازی‌های متراکم و تعاملات دیرهنگام در یک پاس رو به جلو، امکان جستجوی کارآمد و دقیق در صفحات اسناد را فراهم می‌کند و برای سیستم‌های RAG دیداری مناسب است.
