اخیراً چهار غول بزرگ حوزه فناوری یعنی اوپن‌ای‌آی، گوگل، مایکروسافت و آنتروپیک با اعلام حمایت خود از یک استاندارد مشترک، گامی مهم در مدیریت پذیرش یا عدم‌پذیرش خزش (Scraping) هوش مصنوعی برداشته‌اند. این استاندارد جدید که نخستین بار توسط وبسایت Search Engine Roundtable گزارش شد، برای ناشران قابلیتی فراهم می‌کند تا ترجیحات خود را در خصوص استفاده از محتوا برای آموزش مدل‌های هوش مصنوعی به‌صورت یکپارچه اعمال کنند.
چگونه استاندارد خروج از خزش هوش مصنوعی کار می‌کند؟
سازوکار این استاندارد بر پایه مفهومی به نام «توکن سیاست» (Policy Token) استوار است. به بیان ساده، ناشران می‌توانند با تنظیم یکباره سیاست خود، ترجیحات محتوایی‌شان را به‌طور همزمان به تمامی کرالرهای بزرگ هوش مصنوعی انتقال دهند؛ دیگر لازم نیست هر شرکت به‌طور جداگانه و متمایز تنظیمات مخصوص خود را اعمال کند.
پیش از این، ناشران برای مدیریت خزش محتوا مجبور بودند هر یک از ربات‌های خزش را به‌طور مستقل مدیریت کنند. فایل robots.txt برای هر کرالر تنظیمات جداگانه‌ای داشت و هر شرکت قواعد خود را تحمیل می‌کرد. با استاندارد جدید، این پراکندگی به حداقل می‌رسد و فرآیند ساده‌تر می‌شود.
چرا این استاندارد اهمیت دارد؟
بحث خزش هوش مصنوعی یکی از پرتکاپوترین موضوعات این روزهای فناوری است. ناشران بزرگ و کوچک نگران هستند که محتوای تولیدی‌شان بدون اجازه و بدون پرداخت هزینه، در مدل‌های زبانی بزرگ استفاده شود. ایجاد یک استاندارد مشترک می‌تواند به نوعی پل ارتباطی میان حقوق مالکیت معنوی و پیشرفت فناوری باشد.
- مدیریت ساده‌تر ترجیحات محتوا در برابر خزش
- همکاری چندین شرکت بزرگ هوش مصنوعی بر روی یک چارچوب واحد
- کاهش نیاز به تنظیمات پراکنده و تکراری برای هر ربات
- شفافیت بیشتر برای ناشران در قبال استفاده از محتوایشان
آینده مدیریت محتوا و خزش هوش مصنوعی
با وجود اینکه جزئیات کامل مکانیزم این استاندارد هنوز به‌طور کامل فاش نشده، مشارکت همزمان اوپن‌ای‌آی، گوگل، مایکروسافت و آنتروپیک نشان دهنده حرکت جدی بازار به سمت نظم‌بخشی حوزه خزش داده است. انتظار می‌رود در ماه‌های آینده جزئیات بیشتری از نحوه پیاده‌سازی عملی این توکن سیاست منتشر شود و ناشران به‌تدریج از آن بهره‌مند شوند. هرچند اجرای قطعی آن نیازمند واکنش سایر بازیگران کوچک‌تر این صنعت نیز خواهد بود.
پرسش‌های پرتکرار
استاندارد جدید خروج از خزش هوش مصنوعی چیست؟
این استاندارد بر پایه توکن سیاست (Policy Token) طراحی شده و به ناشران امکان می‌دهد ترجیحات خود را در خصوص خزش محتوا به‌صورت یکپارچه برای چندین شرکت هوش مصنوعی تعیین کنند، بدون نیاز به تنظیم مجزا برای هر کرالر.
کدام شرکت‌ها از این استاندارد پشتیبانی کرده‌اند؟
چهار غول فناوری یعنی اوپن‌ای‌آی، گوگل، مایکروسافت و آنتروپیک اعلام کرده‌اند که این استاندارد مشترک را خواهند پذیرفت.
