تصور کنید عامل هوش مصنوعی شما در تمرین اولیه به‌سادگی از پس یک وظیفه برمی‌آید، اما در دموی زنده همان وظیفه را متفاوت اجرا می‌کند و شکست می‌خورد. این اتفاق در محیط تولید به یک مشکل جدی تبدیل می‌شود؛ موفقیت یک‌باره به این معنا نیست که همان درخواست بار دیگر هم با موفقیت اجرا خواهد شد.
معیاری که تقریباً هیچ‌کس گزارش نمی‌کند
تیم IBM Research در مقاله‌ای که در ۱۵ سپتامبر ۲۰۲۶ در پلتفرم Hugging Face منتشر کرده، به یکی از مهم‌ترین معیارهای فراموش‌شده در ارزیابی عامل‌های هوش مصنوعی پرداخته است: تکرارپذیری. عنوان اصلی این مقاله «Your Agent Aced the Task. Will It Do It Again?» است و به سادگی می‌تواند به‌عنوان تذکری برای توسعه‌دهندگان در نظر گرفته شود.
بسیاری از تیم‌ها صرفاً به این اکتفا می‌کنند که مدل یک بار پاسخ درست داده است، اما این مقاله نشان می‌دهد که کنشگران هوش مصنوعی ممکن است در مواجهه با شرایط مشابه، مسیرهای متفاوتی انتخاب کنند و همین امر پیش‌بینی‌پذیری سیستم‌ها را کاهش می‌دهد.
چرا عامل‌ها تغییر رفتار می‌دهند؟ تصمیم‌های تیز در برابر تصمیم‌های تخت
تحلیل IBM نشان می‌دهد که عوامل در برخی از تصمیم‌ها رفتار ناپایدار دارند. پژوهشگران این پدیده را با عنوان «چرخش» یا flips توضیح می‌دهند و آن را به دو نوع تصمیم مرتبط می‌دانند: تصمیم‌های تیز و تصمیم‌های تخت. تفاوت میان این دو حالت به حساسیت عامل نسبت به تغییرات جزئی در ورودی یا مسیر اجرا بستگی دارد.
درک این تفاوت برای تشخیص اینکه چرا یک عامل موفق ممکن است در اجرای بعدی شکست بخورد، ضروری است. عامل فقط باید درست عمل کند؛ بلکه باید بتواند همان رفتار درست را در موقعیت‌های تکراری نیز حفظ کند.
تشخیص، سپس اصلاح: از وصله‌کردن مسیر تا آموزش قوانین تعمیم‌پذیر
رویکرد پیشنهادی IBM در دو مرحله خلاصه می‌شود. ابتدا باید ریشه ناپایداری را تشخیص داد؛ یعنی مشخص شود عامل کجا و چرا از مسیر موفق قبلی منحرف می‌شود. سپس به جای اعمال وصله‌های موردی، باید راهنمایی‌های کلی تولید کرد که رفتار عامل را در موقعیت‌های مختلف اصلاح کند.
نکته مهم این است که این دستورالعمل‌ها تعمیم‌پذیرند و یک مسیر خاص را وصله نمی‌زنند. این یعنی اصلاحات باید در سطح سیاست‌ها و قواعد رفتار انجام شود، نه در سطح یک نمونه اجرایی.
پیام برای تیم‌های در حال عرضه عوامل هوش مصنوعی
اگر در حال ساخت و استقرار عامل‌های هوش مصنوعی هستید، مقاله IBM توصیه می‌کند که تکرارپذیری را جدی بگیرید و فقط به دقت بالاتر در اجرای اولیه اتکا نکنید. بهترین راه، طراحی آزمایش‌هایی است که رفتار عامل را در چندین اجرای متوالی با شرایط یکسان یا تقریباً مشابه بررسی می‌کنند.
- معیار تکرارپذیری را همراه با دقت و سایر شاخص‌های ارزیابی گزارش دهید.
- عامل را در چندین اجرای مکرر تست کنید، نه فقط یک نمونه موفق.
- بین موقعیت‌های تصمیم تیز و تخت تمایز قائل شوید.
- قبل از هر اصلاح، منبع انحراف را به درستی تشخیص دهید.
- راهکارهای تعمیم‌پذیر طراحی کنید و از وصله‌های تک‌مسیری پرهیز کنید.
پژوهش IBM یادآور این نکته است که موفقیت یک عامل هوش مصنوعی در یک اجرا نباید ما را از پرسیدن یک سؤال مهم غافل کند: آیا این عامل از پس کار برآمد؟ آیا دوباره انجامش خواهد داد؟
پرسش‌های پرتکرار
چرا عامل هوش مصنوعی با وجود موفقیت قبلی ممکن است در همان کار دوباره شکست بخورد؟
عامل‌ها گاهی در شرایط مشابه تصمیم‌های متفاوتی می‌گیرند؛ پژوهش IBM نشان می‌دهد رفتار عامل در تصمیم‌های تیز و تخت می‌تواند ناپایدار باشد و موفقیت یک‌بار تضمینی برای دفعات بعد نیست.
راهکار IBM برای بهبود تکرارپذیری عامل‌ها چیست؟
ابتدا تشخیص نقطه انحراف، سپس اصلاح با دستورالعمل‌های کلی و تعمیم‌پذیر؛ به جای وصله کردن یک مسیر خاص.
