در تاریخ ۲۳ مارس ۲۰۲۱، دو غول دنیای فناوری، آمازون و هافینگ فیس، از یک مشارکت استراتژیک خبر دادند که هدف آن تسهیل دسترسی شرکت‌ها به مدل‌های پیشرفته یادگیری ماشین و شتاب‌بخشی به توسعه قابلیت‌های پردازش زبان طبیعی (NLP) است. این همکاری که با تمرکز بر ساده‌سازی فرآیند آموزش و استقرار مدل‌ها شکل گرفته، می‌تواند نقش مهمی در دموکراتیزه‌کردن هوش مصنوعی ایفا کند.
چرا این همکاری اهمیت دارد؟
هافینگ فیس به‌عنوان یکی از پیشروان اکوسیستم متن‌باز هوش مصنوعی، همواره تلاش کرده است تا استفاده از مدل‌های زبانی بزرگ را برای عموم آسان‌تر کند. از سوی دیگر، آمازون وب سرویس‌ها (AWS) زیرساخت ابری قدرتمندی را برای آموزش و استقرار مدل‌ها در مقیاس صنعتی فراهم می‌آورد. این مشارکت، قدرت مدل‌های متن‌باز را با قابلیت‌های ابری آمازون ترکیب می‌کند و به شرکت‌ها اجازه می‌دهد تا پیشرفته‌ترین مدل‌های هوش مصنوعی را تنها با یک دستور ساده، مستقیماً در پلتفرم Amazon SageMaker اجرا کنند.
امکانات کلیدی این مشارکت
در این مشارکت، هافینگ فیس از آمازون وب سرویس‌ها به‌عنوان ارائه‌دهنده ابری ترجیحی خود استفاده می‌کند و به‌عنوان گام نخست، کانتینرهای یادگیری عمیق (Deep Learning Containers) جدیدی برای ساگ‌میکر معرفی شده‌اند. این کانتینرها امکانات متعددی را در اختیار توسعه‌دهندگان قرار می‌دهند که در ادامه مهم‌ترین آن‌ها را مرور می‌کنیم:
- تنها با یک فرمان: آموزش و استقرار مدل‌های ترنسفورمر بدون نیاز به نوشتن کدهای پیچیده، فقط با یک دستور ساده انجام می‌شود.
- آموزش توزیع‌شده: پشتیبانی از آموزش موازی با داده (Data-Parallel) و آموزش موازی با مدل (Model-Parallel) برای مقیاس‌پذیری بالا.
- نمونه‌های عملی و مستندات: ارائه نوت‌بوک‌ها، ویدیوها و نمونه‌های آماده برای شروع سریع پروژه‌های طبقه‌بندی متن.
- استفاده از Spot Instances: کاهش هزینه‌های محاسباتی با بهره‌گیری از نمونه‌های اسپات آمازون.
- یکپارچگی با Git: امکان اتصال مستقیم مخزن کد به ساگ‌میکر برای مدیریت بهتر نسخه‌ها.
- نمایش معیارهای ساگ‌میکر: مشاهده و پایش معیارهای آموزشی مستقیماً در کنسول ساگ‌میکر.
گام‌های عملی برای شروع
برای بهره‌مندی از این امکانات، توسعه‌دهندگان می‌توانند از آموزش همراه با مثال طبقه‌بندی متن استفاده کنند. فرآیند کار به این صورت است که ابتدا یک محیط توسعه راه‌اندازی کرده و ساگ‌میکر را نصب می‌کنید. سپس اسکریپت آموزش (train.py) نوشته، داده‌ها را پیش‌پردازش کرده و به فضای ذخیره‌سازی S3 آپلود می‌کنید. در نهایت، یک برآوردگر HuggingFace ایجاد کرده و فرآیند آموزش را آغاز می‌کنید. با این روش، پیچیدگی‌های زیرساخت حذف شده و تیم‌های مهندسی می‌توانند روی بهبود مدل و محصول نهایی تمرکز کنند.
این همکاری نشان‌دهنده حرکت صنعت به سمت یکپارچه‌سازی ابزارهای متن‌باز با سرویس‌های ابری تجاری است. برای شرکت‌هایی که به دنبال استفاده از مدل‌های پیشرفته هوش مصنوعی هستند، این خبر می‌تواند نقطه عطفی در کاهش هزینه‌ها و زمان توسعه محسوب شود. به نظر می‌رسد آینده هوش مصنوعی نه در رقابت، بلکه در همکاری میان بازیگران کلیدی این حوزه رقم می‌خورد.
پرسش‌های پرتکرار
این همکاری چه مزیتی برای توسعه‌دهندگان دارد؟
توسعه‌دهندگان می‌توانند با یک دستور ساده، مدل‌های پیشرفته ترنسفورمر را در Amazon SageMaker آموزش دهند و مستقر کنند و از امکاناتی مانند آموزش توزیع‌شده و نمونه‌های آماده بهره‌مند شوند.
هافینگ فیس و آمازون چگونه این مشارکت را آغاز کردند؟
در گام نخست، کانتینرهای یادگیری عمیق هافینگ فیس برای ساگ‌میکر معرفی شدند و هافینگ فیس از AWS به‌عنوان ارائه‌دهنده ابری ترجیحی خود استفاده می‌کند.
