چرا بی‌کوک‌های ذخیره‌سازی؟
به‌جای استفاده از مخازن کلاسیک مدل و دیتاست، هف‌فیس به منظور دستورالعمل‌های عملیاتی در محیط‌های تولید و آزمایش، بخش نگهداری فایل‌های متغیر و موقتی را معرفی کرده است. این بی‌کوک‌ها به‌صورت شیء‌مِند مشابه س3 طراحی شده‌اند و به سرعت به‌روزرسانی می‌شوند.
چگونه از آن‌ها استفاده کنیم؟
- یکپارچگی دوچند خطی در خط فرمان hfb با دستورات hf bucket create و hf bucket upload.
- اسکریپ‌کردن دستورات در برنامه‌های پایتون با کمک کتابخانه hf_hub.
- مرور و دانلود فایل‌ها از طریق پنل وب هف‌فیس، همانند مشاهده نرم‌افزارهای معروف.
به‌عنوان مثال، فایل‌های checkpoint را می‌توان به‌راحتی در یک بی‌کوک مجزا ذخیره و به‌صورت پویا در سرورهای محلی یا ابری بارگذاری کرد.
یکپارچگی با Xet و مزایای متقابل
بتایپ ذخیره‌سازی بخشی از زیرساخت Xet است که با caching محلی، حذف نسخه‌های تکراری و جلوگیری از انتقال داده مطلق کمک می‌کند. این ویژگی به‌طور خاص برای مدل‌های دنباله‌سازی و انتقال داده‌های سنگین کاربرد دارد.
در نهایت، این انقلاب در ساختار ذخیره‌سازی، به تیم‌های ML امکان می‌دهد تا به‌سرعت به‌دست آوردن اطلاعات داخلی، آزمایش و روان‌سازی مدل‌ها را بدون نگرانی از محدودیت‌های فضای ذخیره‌سازی دست یابند.
پرسش‌های پرتکرار
بی‌کوک‌های هف‌فیس از نظر امنیت چگونه عمل می‌کنند؟
بی‌کوک‌ها به‌صورت رمزگذاری شده بر روی سرورهای هف‌فیس ذخیره می‌شوند و دسترسی‌ها با کلیدهای API محدود و مانیتور می‌شوند. علاوه بر این، قابلیت اعمال سیاست‌های ACL (Access Control List) برای هر فایل یا پوشه وجود دارد.
آیا می‌توان از بی‌کوک‌ها برای ذخیره‌سازی مدل‌های تولیدی نیز استفاده کرد؟
بله. در حالی که بی‌کوک‌ها برای فایل‌هایی با تغییرات مداوم طراحی شده‌اند، می‌توان از آن‌ها برای ذخیره‌سازی نسخه‌های نهایی مدل همراه با مستندات، به‌روزرسانی‌های نرم‌افزاری و آزمایش‌های طبیعی استفاده کرد.
