پلتفرم هاگینگ فیس که مأموریت خود را پیشبرد و مردم‌نهادسازی هوش مصنوعی از طریق متن‌باز و علم باز اعلام کرده است، پروژه‌ای تازه با نام کازموپدیا (Cosmopedia) را معرفی کرده که می‌تواند نگاه پژوهشگران به آموزش مدل‌های زبانی را دگرگون کند. این مجموعه‌داده با میلیاردها توکن، با هدف بازتولید عملکرد مدل شناخته‌شده Phi-1.5 طراحی شده و جزئیات فرآیند ساخت آن در یادداشتی به قلم لوبنا بن علال، آنتون لژکوف و دنیل فان استرین منتشر شده است.

چرا کازموپدیا اهمیت دارد؟

یکی از گلوگاه‌های اصلی توسعه مدل‌های زبانی بزرگ، دسترسی به داده‌های باکیفیت و در مقیاس عظیم است. کازموپدیا با اتکا به داده‌های ساختگی (سنتتیک) می‌خواهد نشان دهد که می‌توان بدون اتکا به کورپوس‌های سنتی، مدل‌هایی با کیفیت قابل مقایسه پرورش داد. این رویکرد در واقع آزمونی بزرگ برای ایده «بازتولید Phi-1.5 صرفاً با داده سنتتیک» به شمار می‌رود و اگر موفق شود، مسیر تازه‌ای پیش روی تیم‌های پژوهشی کوچک‌تر باز خواهد کرد.

داده سنتتیک؛ از هزینه سنگین حاشیه‌نویسی انسانی تا اتوماسیون

تا چند سال پیش، ساخت مجموعه‌داده برای تنظیم دقیق نظارتی یا تنظیم دستوریِ مدل‌ها مستلزم به‌کارگیری حاشیه‌نویسان انسانی بود؛ فرآیندی پرهزینه، زمان‌بر و از نظر منابع سنگین که توسعه چنین داده‌هایی را عملاً به چند بازیگر محدود و ثروتمند صنعت واگذار می‌کرد. اما چشم‌انداز امروز متفاوت است: صدها مجموعه‌داده باکیفیت برای تنظیم دقیق و با محوریت داده‌های ساختگی تولید شده‌اند که عمدتاً با بهره‌گیری از مدل‌هایی مانند GPT-3.5 و GPT-4 ساخته شده‌اند. جامعه پژوهشی نیز با انتشار ده‌ها مقاله و راهنما، این روند را تقویت کرده است.

پشت صحنه ساخت کازموپدیا

تیم هاگینگ فیس در مستندسازی این پروژه، سه محور اصلی را تشریح کرده است:

  • پالایش پرامپت‌ها: طراحی و گزینش دقیق دستورهای ورودی که کیفیت داده خروجی را تعیین می‌کنند.
  • پشته فنی: زیرساخت و ابزارهایی که تولید میلیاردها توکن داده را در مقیاس بزرگ ممکن ساخته‌اند.
  • چالش‌ها و راه‌حل‌ها: مسائل واقعی مسیر تولید داده سنتتیک در حجم بالا و شیوه‌های غلبه بر آن‌ها.

انتشار شفاف این جزئیات به معنای آن است که هر تیم پژوهشی می‌تواند با الگوبرداری از این تجربه، مجموعه‌داده سنتتیک اختصاصی خود را بسازد؛ چیزی که با رویکرد متن‌باز و علم باز هاگینگ فیس کاملاً هم‌راستاست.

گام‌های بعدی برای اکوسیستم هوش مصنوعی

کازموپدیا صرفاً یک مجموعه‌داده نیست؛ بلکه نشان می‌دهد آینده پیش‌آموزش مدل‌های زبانی می‌تواند تا حد زیادی به داده‌های ساختگی وابسته باشد. اگر کیفیت و تنوع این داده‌ها به‌طور پیوسته بهبود یابد، هزینه ورود به رقابت مدل‌های بنیادین به‌شکل چشمگیری کاهش می‌یابد و مرز میان بازیگران بزرگ و تیم‌های مستقل کم‌رنگ‌تر خواهد شد. برای علاقه‌مندان، مطالعه سند اصلی در وبلاگ هاگینگ فیس نقطه شروع مناسبی برای درک عمیق‌تر این رویکرد است.

پرسش‌های پرتکرار

کازموپدیا چیست و چه کاربردی دارد؟

کازموپدیا مجموعه‌داده سنتتیک عظیمی است که توسط هاگینگ فیس با میلیاردها توکن ساخته شده و هدف آن استفاده در پیش‌آموزش مدل‌های زبانی بزرگ و بازتولید عملکردی مشابه Phi-1.5 است.

چرا داده‌های سنتتیک جایگزین حاشیه‌نویسی انسانی می‌شوند؟

ساخت داده با حاشیه‌نویسان انسانی پرهزینه و زمان‌بر است و تنها در دسترس چند بازیگر بزرگ بود؛ داده سنتتیک که با مدل‌هایی مانند GPT-3.5 و GPT-4 تولید می‌شود، این فرآیند را سریع‌تر، ارزان‌تر و در دسترس‌تر می‌کند.