پشتیبانی درجه‌یک اسپارک در هاگینگ فیس؛ سرعت آموزش هوش مصنوعی تا ۴۰ درصد بیشتر
شرکت دیتابریکس، از بازیگران شناخته‌شده حوزهٔ داده و هوش مصنوعی، از افزودن پشتیبانی رسمی اپاچی اسپارک به کتابخانه‌های هاگینگ فیس خبر داده است. بر اساس اعلام این شرکت در تاریخ ۲۶ آوریل ۲۰۲۳، این یکپارچگی می‌تواند فرایند آموزش و تنظیم دقیق (فاین‌تیون) مدل‌های زبانی بزرگ را تا ۴۰ درصد سرعت ببخشد. نخستین کامیت رسمی تیم دیتابریکس به کدبیس هاگینگ فیس به کاربران اجازه می‌دهد مستقیماً از دیتافریم‌های اسپارک، دیتاست استاندارد هاگینگ فیس بسازند؛ قابلیتی که پل ارتباطی میان یکی از توانمندترین موتورهای پردازش داده در مقیاس بزرگ و پرکاربردترین مخزن مدل‌های متن‌باز جهان می‌شود.
از دالی تا دیتاست دالی-۱۵هزار؛ پیشینهٔ همکاری دو طرف
این نخستین بار نیست که دیتابریکس و هاگینگ فیس کنار هم دیده می‌شوند. دیتابریکس پیش‌تر مدل زبانی متن‌باز «دالی» را منتشر کرده بود؛ مدلی که با دیتاست «دیتابریکس-دالی-۱۵هزار» تنظیم دقیق شده است. این دیتاست با مشارکت جمعی کارکنان خود شرکت تهیه شده و مجوز آن هم برای پژوهش و هم برای استفادهٔ تجاری صادر شده است. هر دوی این منابع هم‌اکنون روی هاگینگ فیس در دسترس عموم قرار دارند و همین تعامل قبلی، زمینهٔ همکاری فنی عمیق‌تر میان دو شرکت را فراهم کرده است.
مزایای این یکپارچگی برای توسعه‌دهندگان هوش مصنوعی
- ساخت دیتاست هاگینگ فیس بدون خروج از محیط اسپارک و بدون تبدیل‌های دستی داده
- کاهش چشمگیر زمان آموزش و فاین‌تیون مدل‌های زبانی بزرگ تا سقف ۴۰ درصد در سناریوهای بهینه
- بهره‌گیری از توان پردازش داده در مقیاس عظیم اسپارک در کنار اکوسیستم مدل‌های متن‌باز
- تقویت رویکرد باز؛ کامیت‌ها به‌صورت عمومی در کدبیس هاگینگ فیس ارائه شده‌اند
به گفتهٔ تیم دیتابریکس، اسپارک یکی از کارآمدترین موتورها برای کار با داده در مقیاس بزرگ است و اکنون کاربران هاگینگ فیس می‌توانند از این توانمندی در خطوط لولهٔ داده‌ای پروژه‌های هوش مصنوعی خود بهره ببرند، بدون آنکه به ابزار واسط یا کدنویسی اضافه نیاز داشته باشند. این یعنی گردش کار یکپارچه از مرحلهٔ آماده‌سازی داده تا آموزش نهایی مدل.
چرا این خبر برای آیندهٔ متن‌باز اهمیت دارد؟
همکاری غول‌هایی مانند دیتابریکس و هاگینگ فیس نشان می‌دهد مسیر پیشرفت هوش مصنوعی نه در اکوسیستم‌های بسته، بلکه در اشتراک دانش و ابزارها می‌گذرد. وقتی شرقی در ابعاد دیتابریکس به‌جای ساختن زیرساخت انحصاری، مستقیماً به کدبیس هاگینگ فیس کامیت می‌زند، پیامی روشن به صنعت ارسال می‌شود: همگانی‌سازی هوش مصنوعی از مسیر متن‌باز و علم باز عبور می‌کند. انتظار می‌رود این نخستین کامیت، آغاز مجموعه‌ای از بهبودها در یکپارچگی اسپارک و هاگینگ فیس باشد که به‌طور مستقیم مقیاس‌پذیری و سرعت پروژه‌های مدل‌های زبانی بزرگ را ارتقا می‌دهد.
پرسش‌های پرتکرار
همکاری دیتابریکس و هاگینگ فیس چه مزیتی برای توسعه‌دهندگان دارد؟
با پشتیبانی درجه‌یک اپاچی اسپارک در کتابخانه‌های هاگینگ فیس، می‌توان دیتاست‌ها را مستقیماً از دیتافریم‌های اسپارک ساخت و فرایند آموزش و تنظیم دقیق مدل‌های زبانی بزرگ را تا ۴۰ درصد سریع‌تر انجام داد.
آیا مدل دالی و دیتاست آن رایگان در دسترس هستند؟
بله؛ مدل زبانی متن‌باز دالی و دیتاست دیتابریکس-دالی-۱۵هزار هم‌اکنون روی هاگینگ فیس منتشر شده‌اند و مجوز آن‌ها هم برای استفادهٔ پژوهشی و هم تجاری معتبر است.
