فرمت جدید دیتاست و مزایای آن

در سال 2025، شرکت HuggingFace نسخهٔ ۳.۰ از LeRobotDataset را رونمایی کرد. این‌بار مشکل محدودیت فایل‌سیستم که در نسخهٔ قبلی باعث می‌شود هر اپیزود را در فایل جداگانه ذخیره کنند، حل شد. فایل‌های چند قسمتی در نسخهٔ جدید امکان ذخیرهٔ هزاران اپیزود در یک فایل را می‌دهد، در حالی که متا داده‌های رابطه‌ای به‌جای مشخص کردن مسیری برای هر اپیزود، به‌صورت فهرست‌وار قابل دسترسی است.

این تغییر نه‌سایر، همزمان قابلیت دسترسی در حالت استریمینگ را نیز اضافه می‌کند، به‌طوری که برنامه‌نویسان می‌توانند داده را بدون بارگذاری کامل روی حافظه، پردازش کنند. این امر برای آموزش مدل‌های بزرگ و پردازش زمان واقعی حیاتی است.

دسترسی استریمینگ و مقیاس‌پذیری

استریمینگ دیتاست، امکان مصرف داده در زمان واقعی را فراهم می‌آورد؛ بنابراین، حتی در سیستم‌های دارای محدودیت سخت‌افزاری می‌توان از این دیتاست بهره برد. مدل‌های یادگیری عمیق می‌توانند با تغییر پارامترهای batch_size، به‌صورت پویا حجم داده‌ی خوانده‌شده را تنظیم کنند. این رویکرد، در محیط‌های تحقیقاتی و صنعتی که تعداد نمونه‌های شطرنجی بسیار زیاد است، بسیار مفید است.

  • حافظهٔ کم مصرف: نیازی به بارگذاری کامل فایل نیست.
  • مقیاس‌پذیر: میلیاردها ردیف بدون مشکل ذخیره می‌شوند.
  • سوکند مصرف: تغییر حجم آپلود بطور ساده در قرارداد داده.
  • سازگاری: با torch.utils.data.DataLoader و سایر کتابخانه‌های یادگیری عمیق.

نحوه‌ی تبدیل و نصب دیتاست

HuggingFace با یک دستور یک خطی، امکان تبدیل همهٔ دیتاست‌های نمونهٔ LeRobotDataset از نسخه 2.1 به 3.0 را فراهم کرده است. فقط کافی است از کد زیر استفاده کنید: lerobot_dataset_v3 = lerobot_dataset_v2.convert_to_v3()

انجام این دستور، ساختار فایل و متا داده‌ها را به‌صورت خودکار تغییر می‌دهد تا با فایل‌های چند قسمتی و استریمینگ سازگار باشند. برای استفاده در پروژه، کافی است کتابخانهٔ lerobot را نصب کنید و پس از بارگذاری دیتاست، آن را در یک DataLoader معمولی قرار دهید.

پرسش‌های پرتکرار

چگونه می‌توان از نسخه 3.0 LeRobotDataset در پروژه‌های یادگیری عمیق استفاده کرد؟

برای استفاده از نسخه 3.0، کافیست کتابخانهٔ lerobot را نصب کنید و دیتاست را به‌صورت زیر بارگذاری کنید: <code>from lerobot import LerobotDataset; dataset = LerobotDataset('v3')</code>. سپس می‌توانید آن را در DataLoader خود قرار دهید و آموزش مدل را آغاز کنید.

دیتاست LeRobotDataset 3.0 در پروژه‌های عملی کجا به‌کار می‌رود؟

این دیتاست در پروژه‌های آموزش مدل‌های مانیتورینگ روباتیک، شبیه‌سازی حرکت، پردازش تصویر و راهیابی روبات‌های خودران کاربرد دارد. شرکت‌های پیشرو در حوزه روباتیک، همان‌طور که در بلاگ HuggingFace یاد شده، در حال استفاده از این دیتاست برای بهبود الگوریتم‌های یادگیری خودکار هستند.