معرفی پروژه Stable Diffusion در Core ML

\n

با همکاری مهندسان اپل، امکان اجرای مدل Stable Diffusion بر روی پردازنده‌های Apple Silicon به کمک Core ML فراهم شد. این تلاش، یک گام بزرگ در جهت توزیع هوش مصنوعی در دستگاه‌های مصرفی محسوب می‌شود.

\n

نحوه تبدیل مدل به Core ML

\n

در ابتدا وزن‌های مدل قبلاً در فرمت PyTorch وجود داشتند. با استفاده از اسکریپت‌های موجود در مخزن رسمی، آن‌ها به شکل .mlmodel تبدیل می‌شوند. وزن‌های تبدیل‌شده در هاب Hugging Face قرار گرفته‌اند.

\n

اجرای مدل در Swift و نکات عملکرد

\n

پس از دریافت وزن‌های تبدیل‌شده، می‌توانید با کتابخانه CoreML در پروژه‌های Swift آن را بارگذاری و در آزمایش‌های خود استفاده کنید. علاوه بر این، در ماه‌های اخیر اپلیکیشن Swift native برای Mac App Store منتشر شد.

\n
    \n
  • تبدیل وزن با دستور convert_to_mlmodel.py
    • \n
  • بارگذاری مدل در Swift با MLModel(contentsOf:)
    • \n
  • فراخوانی اجرای پیش‌بینی با prediction(input:)
    • \n
  • بهینه‌سازی سرعت با MLFeatureValue و neuralEngine
    • \n
\n

کاربردهای آینده می‌تواند شامل تولید تصاویر در زمان واقعی، پردازش فیلم و برنامه‌های خلاقانه دیگر باشد.

پرسش‌های پرتکرار

کدام نسخه از Apple Silicon برای اجرای Stable Diffusion مناسب است؟

نسخه‌های M1، M1 Pro، M1 Max و M2 از جمله پردازنده‌های مناسب هستند که Core ML از آن‌ها پشتیبانی می‌کند.

چگونه می‌توان وزن‌های مدل را تبدیل کرد؟

با استفاده از اسکریپت‌های موجود در مخزن Hugging Face، می‌توانید فایل‌های وزن PyTorch را به فرمت .mlmodel تبدیل کنید و در پروژه‌های Swift استفاده نمایید.