معرفی پژوهش
شرکت IBM و دانشگاه کمبریج (UC Berkeley) به‌عنوان پیشجای حوزهٔ هوش مصنوعی، در سال ۲۰۲۶ گزارشی منتشر کردند که به بررسی عمیق علل ناکارآمدی ربات‌های خودکار در انجام وظایف اداری می‌پردازد. این پژوهش بر روی ابزارهای استاندارد IT-Bench و MAST تمرکز دارد تا به‌طور عملی مشکلات سیستم‌ها را شناسایی کند.
روش‌های تشخیص مشکل
داده‌های جمع‌آوری‌شده شامل ترسیم‌گرهای فعالیت، لاگ‌ها و خروجی‌های ابزارهای نظارتی بوده و بر اساس آن دو فاکتور کلیدی برشمرده شده است: انحرافات غیرقابل جبران (Non-Fatal) و خطاهای قطعی (Fatal). برای مقایسه، مدل‌های قدرتمند مانند Gemini-3-Flash و Kimi-K2 به نحوی گوناگون خطاهایشان را نشان دادند؛ مدل‌های قدرتمند اغلب خطاهای حریصانه‌ای را درک می‌کنند اما نمونه‌های متن‌باز گاهی با عدم تطابق در کلعه‌ها آسیب‌پذیری می‌ورزند.
نتایج و یافته‌های کلیدی
از میان نتایج به‌دست آمده، نکات مهمی به‌دست آمده که می‌توان از آن‌ها برای طراحی سیستم‌های اطمینان‌بخش استفاده کرد:
- مدل‌های بزرگ‌تر گرایش به نمایش دقیق‌تر خطاهای ناشی از تصمیمات نادرست دارند.
- خطاهای غیرقابل جبران در بسیاری از مسیرهای موفق هم‌زمان به‌وجود می‌آیند؛ در حالی که خطاهای قطعی در مسیرهای ناکام غالباً ریشه‌دار هستند.
- مقایسه نمره‌های IT-Bench و MAST نشان داد که انتخاب معیار مناسب می‌تواند دقت تشخیص را دو برابر کند.
پرسش‌های پرتکرار
چه مشکلاتی در ربات‌های هوش مصنوعی اداری وجود دارد؟
به‌طور عمده، این مشکلات به دو دسته خطاهای غیرقابل جبران که در فعالیت‌های موفق هم‌زمان رخ می‌دهند، و خطاهای قطعی که باعث شکست کل مسیر را می‌کنند، تقسیم می‌شوند.
چگونه می‌توان از این خطاها در عملیات‌های عملیاتی جلوگیری کرد؟
اقدامات پیشنهادی شامل انتخاب دقیق‌تر مدل‌های زبان، پیاده‌سازی مانیتورینگ دقیق با معیارهای مختص به <em>IT-Bench</em> و <em>MAST</em>، و تحلیل دقیق تر نتایج نهایی برای وریفیکیشن و بهبود مستمر است.
