ارائه WWDC 2024 و نکات کلیدی Core ML

\n

در هفته‌ی گذشته Apple در کنفرانس توسعه‌دهندگان خود (WWDC) با معرفی امکانات جدید Core ML، گامی نو به سوی دسترسی سهولت و عملکرد بالا برای مدل‌های هوش مصنوعی پیشرفته برداشت. تکنولوژی Core ML به توسعه‌دهندگان امکان می‌دهد مدل‌های یادگیری ماشین را به صورت داخلی روی تمامی واحدهای پردازشی (CPU، GPU و Neural Engine) درون Apple Silicon اجرا کنند.

\n

Mistral 7B: مدل زبانی هوشمند

\n

Mistral 7B یکی از مدل‌های بزرگ زبان‌محور با 7 میلیارد پارامتر است که برای مصرف‌کننده‌ محور طراحی شده و در حال حاضر برترین عملکرد را در معادلات استخراج و تولید متن ارائه می‌دهد. این مدل با بهینه‌سازی‌های معماری خاص، در زمان‌های کوتاه‌تری نسبت به مدل‌های مشابه، پاسخ می‌دهد.

\n

مراحل تبدیل و اجرای مدل در Core ML

\n

برای اجرای موفق Mistral 7B در Apple Silicon، تیم Apple مجموعه‌ی راهنمایی‌های زیر را ارائه داد:

\n
    \n
  • پایگاه مدل از Hugging Face با فرمت ONNX استخراج شود.
    • \n
  • از کتابخانه swift‑transformers بازپنفک القا شده برای ادغام مدل در پروژه Swift استفاده گردد.
    • \n
  • استفاده از تعویق حافظه و کمینه‌سازی حافظه در Core ML session برای بهینه‌سازی مصرف RAM.
    • \n
  • پیکربندی پارامترهای عملکردی (batch‑size، temperature) برای تعادل کارایی و کیفیت.
    • \n

پرسش‌های پرتکرار

آیا مدل Mistral 7B بر روی دستگاه‌های MacBook Air M2 قابل اجراست؟

بله، با Core ML می‌توان Mistral 7B را بهینه‌سازی و بر روی CPU، GPU و Neural Engine دستگاه‌های M2 اجرا کرد، اما مصرف حافظه بالا است.

بهینه‌سازی‌های خاص برای اجرای مدل در Core ML چیست؟

از تبدیل مدل به ONNX، کاهش دقت به 16‑bit، استفاده از حافظه اشتراکی و تنظیم batch‑size مناسب برای کاهش مصرف RAM بهره می‌برید.