پژوهش
هوش مصنوعی در بزرگسازی مدل: بهرهبرداری از DeepSpeed و Accelerate
در این مقاله به بررسی نحوه استفاده از کتابخانه Accelerate در درک مدلهای بزرگ با DeepSpeed و جلوگیری از خطای حافظه پرداخته میشود. راهنمایی عملی و نکات کلیدی برای مهندسان هوش مصنوعی!
سختافزار
سرعتبخشی مدل BERT با پردازندههای Intel: بهینهسازی هوش مصنوعی روی CPU
این مقاله بررسی میکند چگونه با بهرهگیری از قابلیتهای پردازنده Intel، مدلهای مشابه BERT را روی CPU بهینه میکنیم و سرعت بالایی به دست میآوریم.
آموزش
هوش مصنوعی و بهینهسازی حافظه: معرفی ZeRO با DeepSpeed و FairScale
با رشد مدلهای بزرگ، حافظه GPU پاسخگو نیست. ZeRO در DeepSpeed و FairScale راهکاری برای آموزش سریعتر و بهینهسازی مصرف حافظه است.
مدلها
هوش مصنوعی و Reformer: پردازش دنبالههای نیم میلیون توکنی با ۸ گیگابایت
مدل Reformer با مصرف تنها ۸ گیگابایت حافظه، نیم میلیون توکن را آموزش میبیند و برای پردازش دنبالههای طولانی کارآمد است. در این مقاله بررسی میشود.