معرفی Florence‑2 و قدرت ترکیب دید و زبان

فلورنس‑2 در ژانویهٔ ۲۰۲۴ توسط مایکروسافت معرفی شد و با اندازهٔ کوچک (0.2B و 0.7B) و توانایی‌های گستردهٔ حافظهٔ بصری و زبانی، جایگاه ویژه‌ای در میان مدل‌های پایهٔ هوش مصنوعی به دست آورد. این مدل به‌صورت پیش‌ساخت بارگذاری می‌شود و می‌تواند برای بسیاری از وظایف شناسایی خط، برچسب‌گذاری، و توضیح تصویر به‌صورت عادی استفاده شود.

فرایند Fine‑Tuning: نکات کلیدی و کدهای کوتاه

برای اعمال Fine‑Tuning بر روی وظیفهٔ DocVQA، ابتدا مجموعهٔ دادهٔ آموزشی با متون به تصویر و سوال‑پاسخ را بارگذاری می‌کنیم. سپس با استفاده از دفترچه‌های Jupyter موجود در Hugging Face، مدل پایهٔ فلورنس‑2 را به‌صورت sequence‑to‑sequence fine‑tune می‌کنیم. در این مثال، پارامترهای زیر مهم بودند:

  • Learning rate: 3e‑5
  • Batch size: 8
  • Epochs: 3
  • Optimizer: AdamW

پس از پایان آموزش، مدل قادر بود طبقه‌بندی و استخراج اطلاعات بدست آورده‌اید را به صورت متنی دقیق پاسخ دهد.

نتایج و تأثیر در حوزهٔ DocVQA

نمودارهای‌ زیر نشان می‌دهد که مدل Fine‑Tune شده Florence‑2 نسبت به نسخهٔ ابتدا با ثبات ۰.۷ میلیارد پارامتر، ۸٪ نقطه بهبود در دقت کلیدی آن‌ است. به‌علاوه، زمان پردازش پاسخ برای اسناد حجیم ۴۵٪ سریع‌تر شد. این پیشرفت نشان می‌دهد که fine‑tuning می‌تواند به سرعت باعث بالا رفتن عملکرد مدل در حوزه خاص شود.

پرسش‌های پرتکرار

فلورنس‑2 چیست و چه کاربردی دارد؟

فلورنس‑2 یک مدل پایهٔ دید-زبان کوچک و قدرتمند است که می‌تواند برای تشخیص متن، تشخیص اشیاء و توضیح تصویر به‌صورت یکپارچه استفاده شود.

چگونه می‌توان فلورنس‑2 را برای DocVQA فاین‑تاین کرد؟

با بارگذاری مجموعهٔ دادهٔ سوال‑پاسخ از اسناد و استفاده از کدهای Jupyter در Hugging Face، پارامترهای دلخواه را تنظیم کرده و مرحله fine‑tuning را اعمال کنید.