مدل‌های زبانی بزرگ (LLM) امروزه به یکی از اصلی‌ترین ابزارهای هوش مصنوعی تبدیل شده‌اند؛ اما کند بودن پاسخ‌گویی آن‌ها، کاربردشان را در محیط‌های تعاملی محدود کرده است. مهندسان Hugging Face با معرفی روش «تولید کمکی» (Assisted Generation) راهی تازه برای کاهش چشمگیر تأخیر در تولید متن ارائه داده‌اند که می‌تواند سرعت را تا ۱۰ برابر افزایش دهد.

چرا تولید متن با هوش مصنوعی کند است؟

اساس کار مدل‌های زبانی بزرگ بر پیش‌بینی توالی کلمات است. این مدل‌ها به‌صورت خودبازگشتی (Autoregressive) عمل می‌کنند؛ یعنی هر بار تنها یک توکن جدید بر اساس توکن‌های قبلی پیش‌بینی می‌شود. این فرایند توالی‌وار، اگرچه دقت بالایی دارد، اما به شدت به پهنای باند حافظه وابسته است و عملاً از توان محاسباتی کامل سخت‌افزار استفاده نمی‌کند. به همین دلیل، هرچه مدل بزرگ‌تر باشد، تأخیر تولید پاسخ بیشتر می‌شود.

روش Assisted Generation چیست؟

ایده اصلی این روش به کارگیری یک مدل کوچک و سریع به‌عنوان «پیشنهاددهنده» و یک مدل بزرگ به‌عنوان «تأییدکننده» است. مدل کوچک چندین توکن آینده را پیشنهاد می‌کند و مدل بزرگ به‌طور موازی آن‌ها را بررسی و تأیید می‌کند. به این ترتیب، تعداد مراحل خودبازگشتی به شکل قابل توجهی کاهش می‌یابد و سرعت تولید متن بدون افت کیفیت افزایش می‌یابد.

  • کاهش تأخیر تا ۱۰ برابر روی سخت‌افزار معمولی
  • عدم نیاز به آموزش مجدد یا تنظیم دقیق مدل‌ها
  • سازگاری با روش‌های رمزگشایی مختلف از جمله Greedy و Sampling
  • قابل استفاده برای طیف وسیعی از مدل‌های زبانی موجود

نتایج عملی و آینده این فناوری

آزمایش‌های انجام‌شده نشان می‌دهد که این روش روی سخت‌افزارهای معمولی می‌تواند تجربه کاربری را به طور چشمگیری بهبود بخشد. چنین دستاوردی نه‌تنها برای محصولات تجاری مانند دستیارهای هوش مصنوعی مفید است، بلکه در حوزه‌هایی مانند تکمیل کد و ربات‌های گفتگو نیز تحول ایجاد می‌کند. محققان در حال بررسی مسیرهای آینده‌ای هستند که بتواند این روش را برای مدل‌های بزرگ‌تر و سناریوهای پیچیده‌تر کارآمدتر کند.

انتشار عمومی این روش گامی مهم در جهت دموکراتیزه کردن هوش مصنوعی است؛ چرا که به افراد و سازمان‌های بیشتری امکان می‌دهد تا بدون سرمایه‌گذاری کلان در سخت‌افزار، از قدرت مدل‌های زبانی بزرگ بهره‌مند شوند. بی‌تردید، کاهش تأخیر تولید متن، یکی از کلیدی‌ترین عوامل موفقیت محصولات مبتنی بر هوش مصنوعی در آینده خواهد بود.

پرسش‌های پرتکرار

آیا روش Assisted Generation به آموزش مدل نیاز دارد؟

خیر، روش Assisted Generation بدون نیاز به آموزش مجدد مدل، با ترکیب یک مدل کوچک و یک مدل بزرگ، سرعت تولید متن را افزایش می‌دهد.

آیا می‌توان از Assisted Generation برای نمونه‌برداری یا Sampling استفاده کرد؟

بله، این روش هم برای رمزگشایی حریصانه (Greedy) و هم برای نمونه‌برداری (Sampling) قابل استفاده است.