خلاصه‌ی جدیدی برای طراحی سیستم‌های ایمن هوش مصنوعی
در سال 2023، پژوهشگران OpenAI و DeepMind الگوریتمی ارائه دادند که به‌گونه‌ای مبتکرانه می‌تواند هدف‌های انسانی را به‌طور مستقیم از طریق انتخاب بین دو رفتار تخمینی استخراج کند. این روش جایگزینی کامل برای نوشتن توابع هدف (objective functions) پیچیده است و از بروز مشکلاتی مانند سوءتعبیر هدف جلوگیری می‌کند.
مکانیزم کار الگوریتم“ترجیحات انسان”
به‌جای ثبات‌کردن هدف در یک معادله ساده، الگوریتم ابتدا دو رفتار پیشنهادی را به کاربر نشان می‌دهد و از او می‌پرسد کدام رفتار مطلوب‌تر است. بر اساس پاسخ، مدل یاد می‌گیرد که ترجیحات واقعی انسان چیست و بازخورد را مستقیماً به بازوار مدل تبدیل می‌کند.
چرا این رویکرد ایمن‌تر است؟
- کاهش خطر مقایسه‌ی نادرست هدف با عملکرد واقعی.
- کاهش وابستگی به توابع پیش‌فرض تعیین‌شده توسط دانشمندان مهندسی.
- افزایش انعطاف‌پذیری در انجام وظایف پیچیده و چندبعدی.
نتیجه این تکنیک مطلوب‌سازی هوش مصنوعی شرکت‌های پژوهشی به ایجاد سیستم‌های بر اساس ارزش‌های واقعی انسان می‌انجامد و برای کاربردهای حساس مثل پزشکی و امور مالی ارزش‌مند است.
پرسش‌های پرتکرار
چگونه الگوریتم ترجیحات انسان کمک می‌کند تا هوش مصنوعی ایمن‌تر شود؟
با استفاده از انتخاب‌های دوگزاره‌ای از طرف انسان، مدل دقیق‌تر شخصی‌سازی می‌شود و کمترین احتمال بروز رفتارهای نامطلوب یا خطرناکی کاهش می‌یابد.
این روش چه کاربردی در دنیای واقعی دارد؟
به‌مثال در حوزه پزشکی، الگوریتم می‌تواند برنامه‌ریزی بیماران را با توجه به ترجیحات شخصی آنان بهینه کرده و همان‌طور در حوزه خودروهای خودران برای تصمیم‌گیری‌های سریع و اخلاقی اساسی است.
