چه کاری کرده است Hugging Face؟
شرکت Hugging Face در روز 6 مه 2026 اعلام کرد که مجموعه آموزشی جدید در لیست Open ASR Leaderboard را، به‌نام Benchmaxxer Repellant، اضافه و در عین حال داده‌های خصوصی‌اش را به صورت مخفی نگه‌داشت.
دیتاست‌های خصوصی چیستند؟
دیتاست‌های خصوصی، شامل گفتارهای صیغۀ وب‌سایت، محاوره‌ای و با لهجه‌های مختلف در زبان انگلیسی هستند که توسط شریکان Appen و DataoceanAI فراهم شده‌اند. این مجموعه‌ها به دلیل کیفیت بالای ضبط، به‌طور گسترده مورد آزمایش مدل‌های گفتار-به-متن (ASR) استفاده می‌شوند.
چرا مخفی نگه‌داری مهم است؟
Tanظیم Benchmaxxer Repellant به‌واسطه قانون گودهارت، از باختن معنا و دقت در ارزیابی جلوگیری می‌کند. اگر معیار مورد ارزیابی در دسترس مدل باشد، احتمال برتری ناخواسته افزایش می‌یابد. با نگه داشتن داده‌های خصوصی در پلهٔ ویژه، معیار را به‌صورت عادلانه و منحصر به‌داده نگه می‌داریم.
- میانگین WER در لیست همچنان بر اساس داده‌های عمومی محاسبه می‌شود.
- مدل‌هایی که دسترسی به دیتاست‌های خصوصی نداشته‌اند، برای حاکمیت برابر در رقابت می‌توانند برنده شوند.
- توجه به قوانین اخلاقی و اقتصاد مقیاس باعث شفافی در بسیت داده‌ها می‌شود.
پرسش‌های پرتکرار
تاثیر مخفی نگه‌داشتن دیتاست‌های خصوصی بر تحلیل مدل چیست؟
حفظ داده‌ها در حالت مخفی باعث می‌شود مدل‌ها بر اساس معیارهای عمومی ارزیابی شوند و از فواید و آسیب‌های احتمالی برتری در آزمون جلوگیری می‌شود.
کدوم شرکت‌ها دیتاست‌های خصوصی را فراهم کرده‌اند؟
شرکت‌های Appen و DataoceanAI دستگاه‌های صوتی با کیفیت بالا را در قالب دیتاست‌های خصوصی برای مجموعه Benchmaxxer Repellant شناور کرده‌اند.
