معرفی چرا نیستروفرمری مهم است
مدل‌های ترنسفورمر بر پایهٔ خود‑توجه (Self‑Attention) عمل می‌کنند که در آن هر توکن با تمام توکن‌های دیگر مقایسه می‌شود. این کار باعث می‌شود پیچیدگی زمانی و حافظه‌اهمیت کامل O(n^2) شود، که در دنباله‌های طولانی به سرعت بزرگ می‌شود.
چگونه روش نیسترو به بهینه‌سازی زمان کمک می‌کند
روش نیسترو با انتخاب مجموعه‌ای محدود از «نقشه‌های نشانگر» (Landmarks) امکان تقریب ماتریس‌های توجه را فراهم می‌کند و در نتیجه پیچیدگی را به حاشیهٔ خطی O(n) کاهش می‌دهد. این تکنیک به ویژه در پردازش متن و تصاویر طولانی کاربرد دارد.
نحوه پیاده‌سازی در چارچوب هاجینگی فیس
کتابخانهٔ Transformers از هاجینگی فیس، امکان استفاده از نیستروفرمری را به صورت پیش‌فرض در مدل‌های خود فراهم کرده است. برای فعال‌سازی آن کافی است پارامتر attn_type="nystrom" را در هنگام ساخت مدل تنظیم کنید؛ در این‌صورت تکنیک نیسترو به صورت خودکار در لحظه کار می‌کند.
- کاهش زمان محاسبات به حاشیهٔ خطی.
- کاهش مصرف حافظه با استفاده از ماتریس‌های فشرده.
- حفظ عملکرد نزدیک به مدل‌های کامل در وظایف NLP و CV.
نتیجه‌گیری: نیستروفرمری نشان می‌دهد که با استفاده از روش‌های ریاضی پسپلنگی، می‌توان راندمان ترنسفورمرها را در ورژن‌های بسیار طولانی بهبود بخشید.
پرسش‌های پرتکرار
چه مشکلی نیستروفرمری در مدل‌های ترنسفورمر حل می‌کند؟
این روش پیچیدگی زمان و حافظهٔ خود‑توجه را از O(n^2) به O(n) کاهش می‌دهد، به‌طوری‌که امکان پردازش دنباله‌های طولانی‌تر با منابع محدود فراهم می‌شود.
چگونه می‌توان نیستروفرمری را در هاجینگی فیس استفاده کرد؟
در هنگام ساخت مدل اعمال پارامتر <code>attn_type="nystrom"</code> را تنظیم کنید؛ سپس هاجینگی فیس به‌صورت خودکار ماتریس‌های خود‑توجه را با تکنیک نیسترو تقریب می‌دهد.
