مدل‌های زبانی پیشرفته مانند BERT در پردازش متن‌های کوتاه عملکرد فوق‌العاده‌ای دارند، اما به محض افزایش طول ورودی، مصرف حافظه به شکل نمایی رشد می‌کند. همین محدودیت باعث شده است تا وظایفی مانند خلاصه‌سازی اسناد بلند یا پرسش و پاسخ بر روی متون طولانی با چالش جدی مواجه شوند. مدل Reformer با هدف حل این مشکل معرفی شده است.
مدل Reformer؛ پاسخی به چالش دنباله‌های بلند
Reformer که در سال ۲۰۲۰ توسط کیتایف و همکارانش ارائه شد، یکی از بهینه‌ترین معماری‌های ترنسفورمر برای مدل‌سازی دنباله‌های طولانی به شمار می‌رود. این مدل با بهره‌گیری از ایده‌های نوآورانه، حافظه مصرفی را به حدی کاهش می‌دهد که می‌توان آن را روی دنباله‌هایی با نیم میلیون توکن، تنها با ۸ گیگابایت رم آموزش داد.
چهار تکنیک کلیدی برای کاهش مصرف حافظه
برای دستیابی به چنین کارایی، معماری Reformer از چند روش هوشمندانه استفاده می‌کند:
- توجه خودسرانه مبتنی بر حساسیت مکانی تا پیچیدگی محاسبات به جای درجه دوم، تقریباً خطی شود.
- توجه محلی که هر توکن را تنها به همسایگان نزدیکش مرتبط می‌کند.
- لایه‌های فیدفوروارد تکه‌تکه‌شده برای جلوگیری از نگه‌داشتن تمام داده‌ها در حافظه.
- لایه‌های باقیمانده برگشت‌پذیر به همراه رمزگذاری موقعیتی محوری.
نتیجه‌گیری؛ آینده پردازش زبان طبیعی
توانایی Reformer در آموزش دنباله‌های نیم‌میلیون‌توکنی با منابع محدود، افق تازه‌ای برای پردازش زبان طبیعی باز کرده است. این مدل ثابت کرد که می‌توان بدون افزایش نامتناسب سخت‌افزار، مدل‌های زبانی را برای متون بلند به کار گرفت. توسعه چنین معماری‌هایی می‌تواند پایه‌ای برای سامانه‌های هوش مصنوعی آینده باشد که نیازمند درک عمیق متن‌های طولانی هستند.
پرسش‌های پرتکرار
چرا مدل Reformer برای پردازش دنباله‌های طولانی تا نیم میلیون توکن مناسب است؟
زیرا با ترکیب توجه محلی و LSH و همچنین استفاده از لایه‌های برگشت‌پذیر، مصرف حافظه به‌جای رشد درجه دوم به تقریباً خطی کاهش می‌یابد و می‌توان با ۸ گیگابایت رم مدل را روی دنباله‌های بلند آموزش داد.
آیا Reformer دقت مدل‌های قبلی را قربانی کاهش حافظه کرده است؟
بر اساس مقاله اصلی و آزمایش‌های انجام‌شده، Reformer توانسته تعادل خوبی میان کارایی محاسباتی و کیفیت برقرار کند و در عین کاهش شدید حافظه، دقت رقابتی را حفظ نماید.
