معرفی دیتاست‌های پخش‌شونده در هوش مصنوعی
دیتاست‌های پخش‌شونده یا streaming، اجازه می‌دهند داده‌ها را مستقیماً از سرور به مدل یادگیری منتقل کنید، بدون نیاز به دانلود کامل آن. این قابلیت برای مدل‌های بزرگ‌تر و داده‌های بی‌پایان مثل متون، تصاویر یا صوتات بسیار مفید است.
امکانات و بهبودهای جدید هافینگ فیس
- کاهش 100 برابری در تعداد درخواست‌های شبکه
- افزایش 10 برابر در حل سریع‌تر داده (data resolution)
- دو برابر سرعت نمونه‌گیری (samples per second)
- حذف خطاهای 429 و 504 در بارگذاری موازی
- پشتیبانی از 256 کارگر همزمان بدون سقوط
این بهبودها نه تنها سرعت را افزایش داده، بلکه به‌روزرسانی و پردازش دیتاست‌های چند تترابایتی را بدون ایجاد فشار بر دیسک یا مصرف بیش از حد ترافیک شبکه ممکن می‌سازد. تیم SmolLM3 برای مثال، به جای سه ساعت انتظار برای دانلود، اکنون به‌سرعت در حال آموزش است.
چگونه از این قابلیت استفاده کنیم؟
با استفاده از کد زیر فقط یک خط، می‌توانید دیتاست خود را در حالت پخش‌شونده فراخوانی کنید:
load_dataset('dataset', streaming=True)سپس داده‌ها را در حلقه یا pipeline مدل خود خوانده و آموزش دهید. برای کسب اطلاعات بیشتر به مستندات رسمی هافینگ فیس مراجعه کنید.
پرسش‌های پرتکرار
دیتاست‌های پخش‌شونده چگونه کار می‌کنند؟
عمل می‌کنند در صورتی که داده‌ها را از سرور ابری مستقیماً به حافظه مدل انتقال می‌دهند، بدون ذخیره‌سازی محلی. این باعث کاهش مصرف دیسک و سرعت پردازش می‌شود.
نقاشی ۲ کارگر همزمان چه تأثیری بر مدل دارد؟
با حذف خطاهای 429 و 504، امکان استفاده از بیش از 200 کارگر همزمان وجود دارد که به صورت همزمان نمونه‌های زیادی را پردازش می‌کند و سرعت آموزش را دو تا سه برابر می‌کند.
