در دنیای همیشه در حال تحول هوش مصنوعی، مدل‌های ترنسفورمر (Transformers) انقلابی در پردازش زبان طبیعی و بینایی کامپیوتر ایجاد کرده‌اند. اما آیا توانایی‌های آن‌ها به همین حوزه‌ها محدود می‌شود؟ تحقیقات اخیر، به‌ویژه با تمرکز بر پیش‌بینی سری‌های زمانی (Time Series Forecasting)، نشان می‌دهد که پاسخ قاطعانه «خیر» است. در این مقاله از وبلاگ «هما»، به بررسی عمیق کارایی ترنسفورمرها در این زمینه می‌پردازیم و مدل پیشگام Autoformer را معرفی می‌کنیم که افق‌های جدیدی را در پیش‌بینی داده‌های زمانی گشوده است.

ترنسفورمرها در پیش‌بینی سری زمانی: فراتر از انتظار

مدت‌ها این بحث وجود داشت که آیا مدل‌های ترنسفورمر، با توجه به پیچیدگی و منابع محاسباتی مورد نیازشان، می‌توانند در وظیفه پیش‌بینی سری‌های زمانی از مدل‌های ساده‌تر و خطی پیشی بگیرند یا خیر. برخی مطالعات اولیه، از جمله مقایسه‌هایی با مدل‌های ساده مانند DLinear، به این نتیجه رسیده بودند که ترنسفورمرها برتری قابل توجهی ندارند. اما پژوهش‌های جدید، که توسط پلتفرم‌های پیشرویی چون Hugging Face برجسته شده‌اند، این دیدگاه را به چالش کشیده‌اند.

تجزیه و تحلیل‌های تجربی قوی نشان می‌دهد که ترنسفورمرها نه تنها در پیش‌بینی سری‌های زمانی مؤثرند، بلکه در بسیاری از سناریوها عملکردی برتر از مدل‌های خطی از خود نشان می‌دهند. پیش‌تر، معرفی مدل Informer (برنده جایزه بهترین مقاله AAAI 2021) نقطه عطشی در این زمینه بود و پتانسیل ترنسفورمرها را برای پیش‌بینی‌های احتمالی چندمتغیره به نمایش گذاشت. این روند، گواه بر این است که با طراحی معماری مناسب و بهینه‌سازی، ترنسفورمرها می‌توانند پیچیدگی‌های داده‌های سری زمانی را به خوبی درک و مدل‌سازی کنند.

Autoformer: نوآوری در قلب ترنسفورمرها برای سری زمانی

یکی از درخشان‌ترین نمونه‌ها در این حوزه، مدل Autoformer است که یک رویکرد نوین برای پیش‌بینی سری‌های زمانی با استفاده از معماری ترنسفورمر ارائه می‌دهد. Autoformer با مکانیزم‌های خاص خود، قادر است الگوهای پیچیده و وابستگی‌های زمانی بلندمدت را که برای مدل‌های سنتی چالش‌برانگیز هستند، به نحو احسن استخراج کند.

ویژگی‌های کلیدی Autoformer عبارتند از:

  • لایه تجزیه (Decomposition Layer): این لایه، سری زمانی را به مؤلفه‌های روندی (trend) و فصلی (seasonal) تفکیک می‌کند و به مدل اجازه می‌دهد هر جزء را به طور مستقل و با دقت بیشتری مدل‌سازی کند.
  • مکانیزم توجه (Attention) مبتنی بر خودهمبستگی (Autocorrelation): به جای مکانیزم توجه سنتی ترنسفورمرها که بر پایه دات پروداکت (dot product) است، Autoformer از مکانیزم توجهی استفاده می‌کند که مستقیماً خودهمبستگی را در داده‌های سری زمانی اندازه می‌گیرد. این رویکرد، روابط تناوبی و تکرارشونده را با کارایی بیشتری شناسایی کرده و به مدل کمک می‌کند تا وابستگی‌های بلندمدت را بهتر درک کند.

این نوآوری‌ها به Autoformer این امکان را می‌دهند که در سناریوهای واقعی، مانند پیش‌بینی ترافیک یا بار مصرفی انرژی، عملکردی چشمگیر از خود نشان دهد و نتایج دقیق‌تری را نسبت به مدل‌های پیشین ارائه دهد.

مقایسه با DLinear و اهمیت پژوهش‌های عمیق

یکی از نکات مهمی که تحقیقات اخیر بر آن تأکید دارد، رد این ادعاست که مدل‌های خطی ساده مانند DLinear همواره بهتر از ترنسفورمرها در پیش‌بینی سری‌های زمانی عمل می‌کنند. در مقایسه‌های انجام شده با اندازه مدل‌های مشابه و در تنظیمات یکسان، ترنسفورمرها ثابت کرده‌اند که نه تنها عقب‌تر نیستند، بلکه اغلب عملکردی قوی‌تر دارند.

این نتیجه، اهمیت رویکردهای دقیق و عمیق در پژوهش‌های هوش مصنوعی را برجسته می‌کند. تکیه بر مدل‌های ساده‌تر تنها به دلیل سادگی، می‌تواند مانع از بهره‌برداری کامل از پتانسیل فناوری‌های پیشرفته‌تر شود. جامعه هوش مصنوعی، با پشتیبانی از پروژه‌های متن‌باز و علم باز (open science) مانند آنچه Hugging Face دنبال می‌کند، به سمت درک عمیق‌تر و دموکراتیزه کردن ابزارهای پیشرفته‌ای مانند ترنسفورمرها در تمام حوزه‌ها، از جمله پیش‌بینی سری‌های زمانی، حرکت می‌کند.

پرسش‌های پرتکرار

آیا ترنسفورمرها واقعاً برای پیش‌بینی سری زمانی مؤثر هستند؟

بله، بر اساس شواهد تجربی جدید، ترنسفورمرها (مانند Autoformer) در پیش‌بینی سری‌های زمانی بسیار مؤثر هستند و در بسیاری از موارد عملکرد بهتری نسبت به مدل‌های خطی ساده‌تر دارند.

مدل Autoformer چه ویژگی‌هایی دارد که آن را متمایز می‌کند؟

Autoformer دارای لایه تجزیه برای تفکیک مؤلفه‌های روندی و فصلی و همچنین مکانیزم توجه مبتنی بر خودهمبستگی است که به آن کمک می‌کند الگوهای پیچیده و وابستگی‌های بلندمدت را در سری‌های زمانی بهتر شناسایی کند.