مقدمه

مدل‌های ادغام تصویر و متن (Vision‑Language Models) به دو گوشهٔ گلوبال قدرتی بی‌سابقه در پردازش محتواهای بصری می‌افزایند. همان‌طور که حجم و دقت این مدل‌ها روز به روز بهبود می‌یابد، چالش اجرای آن‌ها در دستگاه‌های انتهایی نیز افزایش می‌یابد. سازمان‌های مختلف در پی این راهکار می‌باشند که مدل خود را بدون اتکا به سرورهای ابری، بر روی سخت‌افزار خودش حفظ کنند تا از حریم خصوصی، سرعت و وابستگی کمتر بهره‌مند شوند.

در این‌بار، انجمن Hugging Face با استفاده از ابزارهای Optimum Intel و فریم‌ورک OpenVINO، یک راهنمای سه‌مرحله‌ای برای راه‌اندازی مدل‌های VLM بر روی پردازنده‌های Intel منتشر کرد. این آموزش متمرکز بر سه اصل است: تبدیل مدل، کاهش وزن، و اجرای سریع.

  • سه گام ساده، بدون نیاز به دانش عمیق سخت‌افزار.
  • حفظ حریم خصوصی؛ تمام داده‌ها درون دستگاه باقی می‌ماند.
  • سرعت بالاتر و عدم وابستگی به اینترنت.

گام 1: تبدیل مدل

در این گام، مدل اولیه خود (مثلاً SmolVLM یا سایر VLM‌های متن باز) توسط ابزار Optimum Intel به فرمت TensorRT تبدیل می‌شود. این تبدیل به صورت خودکار وزن‌ها و ساختار مدل را به شکلی بهینه می‌کند تا با معماری‌های CPU Intel سازگار شود.

وظیفه اصلی این مرحله، ایجاد فایل‌های تبدیل شده در فرمت OpenVINO IR (مجموعه فایل‌های XML و BIN) است که به سرعت در محیط‌های محصولی خوانده می‌شوند.

گام 2: کاهش وزن مدل

کاهش وزن کمک می‌کند تا حجم مدل به‌گونه‌ای کاهش یابد که بر روی هسته‌های پردازش‌گر کم‌مصرف قابل اجرا باشد.

دستگاه‌های دو گزینه اصلی ارائه می‌کنند:

  • کاهش وزن وزن (Weight‑Only Quantization) که معمولا با حفظ دقت 80‑85٪ عمل می‌کند.
  • کاهش وزن ثابت‌ (Static Quantization) که سعی در دست‌یابی به دقت نزدیک به مدل اصلی دارد ولی زمان مقداردهی اولیه طولانی‌تر است.

اختیار شماست که بسته به نیازهای سرعت و دقت، یکی را انتخاب کنید.

گام 3: اجرای مدل و ارزیابی

حال مدل تبدیل و کم‌شده آماده اجرا است. با فراخوانی تابعی از کتابخانه OpenVINO، می‌توانید هر تصویر را برای استخراج توضیحات، کشف اشیاء یا پاسخ به پرسش‌های متنی تحلیل کنید.

برای ارزیابی عملکرد، مجموعه‌های آزمونی و معیارهای BLEU، METEOR و ROUGE می‌توانند جهت ارزیابی کیفیت توصیف و صحت پاسخ‌ها استفاده شوند.

در نهایت، نتیجهٔ سری‌پایه‌ای به‌صورت متایبه تنظیم می‌شود تا به تیم توسعه امکان نظارت بر بهبود مستمر ویژوال‑لنگویج را بدهد.

پرسش‌های پرتکرار

OpenVINO چیست و چه مزایایی دارد؟

OpenVINO (Open Visual Inference & Neural Network Optimization) یک مجموعه ابزار متن باز است که توسط شرکت Intel توسعه یافته و برای سرعت‌بخشی اجرای مدل‌های هوش مصنوعی بر روی سخت‌افزارهای Intel بهینه‌سازی شده است. مزایای آن شامل کاهش زمان پیش‌بینی، کاهش مصرف انرژی، و سازگاری با انواع پردازنده‌های CPU، GPU و VPU می‌شود.

چگونه می‌توانم مدل خود را به SmolVLM تبدیل کنم؟

برای تبدیل مدل خود به SmolVLM، ابتدا باید مدل پایه را در قالب ONNX یا PyTorch بارگذاری کنید. سپس از ابزار Optimum Intel برای تبدیل به فرمت OpenVINO IR استفاده کنید و در صورت لزوم، همان‌طور که در گام 2 توضیح داده شد، وزن‌های مدل را بهینه و کم‌شکلی کنید. در نهایت، فایل‌های تبدیل شده را در محیطی با نصب OpenVINO اجرا کنید و عملکرد را بررسی کنید.