پیشینه و ضرورت بهینه‌سازی ذخیره‌سازی

هافتینگ فیس به‌عنوان پلتفرمی که بیش از ۱۱ Pب داده را میزبانی می‌کند، سهم قابل‌توجهی از این حجم را توسط فایل‌های Parquet تشکیل می‌دهد. با توجه به اینکه این فایل‌ها غالباً به‌صورت شاخه‌های کلی و نه افزایشی خريداری می‌شوند، نیاز به حذف تکرار داده‌ها به‌صورت مؤثر شده است. ,به‌این‌کار کاربران قادر خواهند بود نسخه‌های متفاوت یک دیتاست را در فضای کمتر ذخیره کنند و بارهای آپلود را به حداقل برسانند.

معماری فعلی و چالش‌های موجود

در حالت پیش‌فرض هافینگ فیس از الگوریتم Content‑Defined Chunking (CDC) در سطح بایت استفاده می‌کند. اگرچه در بسیاری از سناریوها این روش به خوبی تکرار را حذف می‌کند، در فایل‌های بسیار بزرگ و با تغییرات سطح بالاتر کارایی آن کاهش می‌یابد. این موضوع برای تیم Xet که بر روی بهینه‌سازی ساختار ذخیره‌سازی تمرکز دارد، به یک نقطه ضعف مهم تبدیل شد.

راهکار بهبود: CDC پیشرفته و ادغام عناصری جدید

تیم Xet یک نسخه پیشرفته از CDC را به‌کار گرفته است که به‌صورت خودکار بر اساس محتوای داده، بلوک‌های متناسب‌تری برای حذف تکرار تعریف می‌کند. این تغییر، اجازه می‌دهد هر نسخه از دیتاست با فضای اضافهٔ اندکی نسبت به بیش‌ترین نسخه در حافظه نگهداری شود، بدون نیاز به آپلود مجدد کل مجموعه.

  • کاهش مصرف فضای ذخیره‌سازی تا ۳۰٪ برای دیتاست‌های بزرگ.
  • کاهش زمان آپلود و بروزرسانی از چند دقیقه به چند ثانیه.
  • پشتیبانی از نسخه‌گیری گام‌گام بدون اضافه‌بار.
  • قابلیت همکاری آسان‌تر برای پژوهشگران و مهندسان داده.

استفاده از این تکنیک نه تنها هزینه‌های زیرساخت را پایین می‌آورد، بلکه با کاهش بار شبکه، زمان پاسخ‌دهی سرویس‌های مدل‌های هوش مصنوعی به‌روزشده را نیز بهبود می‌بخشد. تیم هافینگ فیس با ادغام این فناوری، مسیر را برای توسعهٔ پایدارتر و پایدارتر از داده‌های آموزشی گشوده است.

پرسش‌های پرتکرار

چگونه می‌توانم از این بهبود در پروژه‌های خود استفاده کنم؟

با ورود به پنل وب هافینگ فیس، در بخش تنظیمات ذخیره‌سازی، گزینه‌های جدید CDC پیشرفته را فعال کنید؛ سپس دیتاست‌های خود را در قالب فایل Parquet آپلود کنید تا از مزایای کاهش مصرف فضای ذخیره‌سازی بهره‌مند شوید.

آیا برای استفاده از بهینه‌سازی خاصی به حساب پیشرفته نیاز است؟

خیر، این ویژگی در تمام حساب‌ها به‌صورت پیش‌فرض در دسترس است. اما برای دسترسی به گزارش‌های دقیق‌تر و امکانات مانیتورینگ پیشرفته، ممکن است حساب Enterprise مفید باشد.