گامی نو در ادراک بصری با Falcon Perception

پژوهشگران موسسه فناوری نوآوری (TII) با انتشار مدل Falcon Perception در پلتفرم Hugging Face، تحولی در سیستم‌های ادراک ماشین ایجاد کرده‌اند. این مدل که تنها ۰.۶ میلیارد پارامتر دارد، بر پایه یک ترنسفورمر early-fusion طراحی شده و قادر است درک هم‌زمانی از تصاویر و متن طبیعی ارائه دهد. برخلاف رویکردهای سنتی که به چند ماژول جداگانه برای تشخیص، بخش‌بندی و گراندینگ وابسته هستند، Falcon Perception تمام این قابلیت‌ها را در یک معماری واحد ادغام می‌کند.

این مدل به‌ویژه برای کاربردهای open-vocabulary طراحی شده؛ یعنی می‌تواند اشیاء و نواحی را بر اساس هر توصیف زبانی آزاد، بدون نیاز به آموزش اختصاصی، شناسایی و بخش‌بندی کند. این قابلیت از ترکیب ویژگی‌های بصری و متنی در یک توالی واحد حاصل می‌شود که به آن معماری early fusion گفته می‌شود.

معماری هوشمندانه: ادغام زودهنگام توجه ترکیبی

در Falcon Perception، پچ‌های تصویر و توکن‌های متن در یک دنباله واحد به مدل داده می‌شوند. سازوکار توجه ترکیبی (hybrid attention) این امکان را فراهم می‌کند تا مدل روابط بین پیکسل‌ها و کلمات را به‌طور هم‌زمان یاد بگیرد. یک رابط متراکم کارآمد نیز انتقال اطلاعات میان دو رفتار متفاوت مدل را تسهیل می‌کند: یکی برای درک کلان صحنه و دیگری برای تولید خروجی‌های دقیق و پیکسل‌به‌پیکسل.

زنجیره ادراک (Chain-of-Perception) یک روش نظارتی درشت‌به‌ریز است که به مدل کمک می‌کند ابتدا ساختار کلی صحنه را درک کند و سپس به جزییات ریز بپردازد. سرهای تخصصی (Specialized Heads) با سربار بسیار کم به مدل اضافه شده‌اند تا بدون کاهش سرعت، دقت بخش‌بندی را افزایش دهند.

آموزش با داده‌های عظیم و تقطیر چندمعلمه

فرایند آموزش Falcon Perception در سه مرحله و با استفاده از ۷۰۰ GT انجام شده است. داده‌های آموزشی شامل ۵۴ میلیون تصویر، ۱۹۵ میلیون عبارت مثبت و ۴۸۸ میلیون نمونه منفی سخت است. این حجم داده، همراه با تقطیر دانش از چند معلم قدرتمند، باعث شده مدل به‌رغم اندازه کوچک خود، عملکردی در سطح مدل‌های بسیار بزرگ‌تر داشته باشد.

  • وزن مدل: ۰.۶ میلیارد پارامتر
  • معماری: early fusion با توجه ترکیبی
  • داده آموزش: ۵۴ میلیون تصویر و ۴۸۸ میلیون نمونه منفی
  • قابلیت اصلی: بخش‌بندی و گراندینگ متنی open-vocabulary
  • وضوح خروجی: ماسک با کیفیت بالا (SA-Co)

کارایی استنتاج: سریع، کاربردی و منبع باز

نتایج آزمایش‌ها نشان‌دهنده کیفیت برتر ماسک‌های تولیدی Falcon Perception در مقایسه با همرده‌های خود است. همچنین معیار PBench که به‌طور خاص برای ارزیابی قابلیت‌های مفقود در مدل‌های قبلی طراحی شده، نشان می‌دهد این مدل با افزایش پیچیدگی توصیف متنی، عملکرد پایداری ارائه می‌دهد. مدل Falcon OCR نیز به‌عنوان توسعه‌ای از همین معماری، برای درک اسناد بهینه شده است.

برای استنتاج، موتور Paged Inference Engine به‌کار رفته که مصرف حافظه را بهینه می‌کند. علاوه بر این، پشتیبانی از Docker و MLX، اجرای Falcon Perception را روی محیط‌های مختلف از جمله سخت‌افزار اپل ممکن می‌سازد. این مدل به‌صورت کاملاً متن‌باز در دسترس پژوهشگران و توسعه‌دهندگان قرار گرفته است.

جمع‌بندی: درس تلخ برای ادراک ماشین

نویسندگان مقاله این رویکرد را مثالی از «درس تلخ» می‌دانند: به‌جای مهندسی دستی و طراحی پایپ‌لاین‌های پیچیده، تکیه بر مقیاس داده و قدرت محاسباتی می‌تواند به راه‌حل‌های ساده‌تر و مؤثرتر منجر شود. Falcon Perception با ترکیب معماری هوشمند، آموزش داده‌های عظیم و استنتاج سریع، مسیر جدیدی را برای سیستم‌های هوش مصنوعی بصری ترسیم می‌کند.

پرسش‌های پرتکرار

Falcon Perception چه ابعادی دارد و چه معماری‌ای استفاده می‌کند؟

Falcon Perception یک مدل ترنسفورمر با ۰.۶ میلیارد پارامتر است که از معماری early fusion و توجه ترکیبی برای پردازش هم‌زمان پچ‌های تصویر و توکن‌های متن استفاده می‌کند.

آیا Falcon Perception منبع‌باز است و برای استنتاج بهینه شده؟

بله، مدل به‌صورت متن‌باز روی Hugging Face منتشر شده و از موتور Paged Inference با پشتیبانی Docker و MLX بهره می‌برد که اجرای سریع و کم‌حافظه را ممکن می‌سازد.