مقدمه

در روزهای اخیر، جامعهٔ هوش مصنوعی از انتشار یک نسخهٔ جدید، Decision Transformer، در بخشٔ کتابخانهٔ 🤗 Transformers شگفت‌زده شد. این مدل به‌صورت offline Reinforcement Learning عمل می‌کند و توانسته است به‌مدتی کوتاه نتایج قابل توجهی در بسیاری از بازی‌های استاندارد ارائه دهد.

یادگیری تقویتی آفلاین چیست؟

یادگیری تقویتی آفلاین در اصل به مجموعه‌ای از آزمایش‌های پیشین اشاره دارد که بر روی آن مدل آموزش می‌یابد بدون نیاز به تعامل مستقیم با محیط در زمان واقعی. این روش باعث کاهش هزینه و زمان پژوهش می‌شود و برای حل مسائل پیچیدهٔ واقعی کاربرد دارد.

Decision Transformer به زبان فارسی

این مدل، که از معماری Transformer استفاده می‌کند، بر گام‌های گذشته، گزارش وضعیت و پاداش‌های پیشین می‌لنگد و پیش‌بینی گام‌های بعدی را انجام می‌دهد. این ویژگی باعث می‌شود که تصمیمات به‌صورت فازی و پیش‌فرضی گرفته شوند، مشابه انسان‌ها.

چگونگی استفاده در پروژه‌های عملی

برای شروع، متن زیر را در محیط پایتون اجرا کنید:

pip install transformers stable-baselines3
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Decision-Transformer"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

سپس می‌توانید با یک حلقهٔ محیط نمونه، عملکرد مدل را ارزیابی کنید:

import gym
env = gym.make("CartPole-v1")
...

پیشنهادات بعدی

یکدست سازی این مدل با کدهای Stable‑Baselines3، آموزش با فاز‌های جداگانه و انتشار اسناد جامع، در برنامهٔ آیندهٔ Hugging Face گنجانده شده است.

  • نصب و بارگذاری مدل
  • یکپارچه‌سازی با Stable‑Baselines3
  • ارزیابی و تحلیل نتایج

پرسش‌های پرتکرار

Decision Transformer چیست؟

Decision Transformer یک مدل یادگیری تقویتی آفلاین است که با استفاده از معماری Transformer، توالی‌های وضعیت، عمل و پاداش را در قالب یک متن طولانی پیش‌بینی می‌کند. این روش به‌دلیل عدم نیاز به تعامل مستقیم در زمان واقعی، سرعت و مقیاس‌پذیری بالایی دارد.

چگونه می‌توان از Decision Transformer در پروژه‌های خاص استفاده کرد؟

ابتدا دادهٔ تکمیل‌شدهٔ محیط مورد نظر (وضعیت، عمل، پاداش) را جمع‌آوری کنید؛ سپس مدل را به‌وسیلهٔ کتابخانهٔ Hugging Face بارگذاری و آموزش دهید. در مرحله‌ی بعد، خروجی مدل را با محیط واقعی یا شبیه‌ساز متصل کنید تا عملکرد آن را ارزیابی کنید.