هوش مصنوعی به نقطه‌ای رسیده که عامل‌های خودکار (AI agents) می‌توانند ساعت‌ها به‌صورت مستقل کار کنند. اما همین استقلال، نگرانی‌هایی در مورد انحراف از هدف یا رفتارهای ناخواسته ایجاد کرده است. نظارت بر این عامل‌ها همیشه هزینه‌بر بوده، اما استارتاپ گودفایر می‌گوید راهی یافته که این هزینه را به‌شکل چشمگیری کاهش می‌دهد.

مشکل روش سنتی نظارت بر عامل‌های هوش مصنوعی

روش رایج برای مهار یک عامل هوش مصنوعی این است که یک مدل دوم (یا یک هوش مصنوعی ناظر) تمام کارهایی را که عامل انجام می‌دهد بخواند و ارزیابی کند. این روش هرچند کارآمد است، اما وقتی عامل ساعت‌ها اجرا می‌شود و متنی معادل چند رمان پردازش می‌کند، هزینه محاسباتی به سرعت بالا می‌رود. گودفایر می‌گوید این رویکرد سنتی از نظر اقتصادی مقیاس‌پذیر نیست.

روش «داخل‌به‌بیرون» گودفایر چه تغییری ایجاد می‌کند؟

گودفایر که روی تفسیرپذیری مدل‌های هوش مصنوعی تمرکز دارد، پنجشنبه گذشته گزینه ارزان‌تری معرفی کرد. در این روش، مانیتورها به‌جای خواندن خروجی، به درون مدل نگاه می‌کنند و در حین کار، فعالیت‌های داخلی آن را زیر نظر می‌گیرند. تنها زمانی که نشانه‌های مشکوکی مشاهده شود، از یک مدل کمکی برای بررسی عمیق‌تر استفاده می‌شود. به این ترتیب، دیگر نیازی به خواندن تمام متن تولیدشده نیست.

دسترسی و کاربرد عملی

این مانیتورها در اختیار مشتریان پلتفرم Baseten قرار گرفته است؛ سرویسی که مدل‌های هوش مصنوعی را برای شرکت‌های دیگر میزبانی و اجرا می‌کند. با این قابلیت، سازمان‌ها می‌توانند کنترل بیشتری روی عامل‌های خود داشته باشند، بدون آنکه هزینه‌های سرسام‌آور روش قبلی را بپردازند.

    مزیت‌های روش جدید:
  • کاهش قابل توجه هزینه نظارت بر عامل‌های هوش مصنوعی
  • بررسی هم‌زمان فرآیند داخلی مدل به‌جای تحلیل حجم عظیم خروجی
  • مصرف بهینه منابع محاسباتی با مداخله فقط در موارد مشکوک
  • امکان واکنش سریع‌تر به رفتارهای پرخطر در حین اجرا

پرسش‌های پرتکرار

روش گودفایر برای نظارت بر هوش مصنوعی چه مزیتی نسبت به روش سنتی دارد؟

در روش سنتی، یک مدل دوم تمام خروجی‌های عامل هوش مصنوعی را می‌خواند که هزینه بالایی دارد؛ اما روش گودفایر مستقیماً به درون مدل نگاه می‌کند و فقط هنگام مشاهده فعالیت مشکوک، از مدل کمکی استفاده می‌کند.

این سرویس جدید گودفایر روی چه پلتفرمی در دسترس است؟

مانیتورهای گودفایر برای مشتریان پلتفرم Baseten ارائه شده‌اند؛ پلتفرمی که میزبانی و اجرای مدل‌های هوش مصنوعی را برای کسب‌وکارها فراهم می‌کند.