پژوهش
DeepSpeed و FSDP: با یکدیگر در پشتیبان هوش مصنوعی Hugging Face
دستگاه‌های DeepSpeed و FSDP در Hugging Face به‌صورت متناظر در پردازش داده‌های هوش مصنوعی به کار گرفته می‌شوند؛ مقاله این‌بار تفاوت‌های میان دو معماری و بهینه‌سازی در بحث توان‌مندسازی مدل‌ها را بررسی می‌کند.
اخبار
دستیار کدنویسی هوش مصنوعی متن‌باز؛ معرفی StarCoder و StarChat
در این مقاله به معرفی StarCoder و StarChat به عنوان دستیاران کدنویسی متن‌باز می‌پردازیم و روش آموزش آنها با DeepSpeed و چالش‌های پیش رو را بررسی می‌کنیم.
پژوهش
هوش مصنوعی پرسرعت: روش شگفت‌انگیز اجرای مدل BLOOM با DeepSpeed و Accelerate
در این مقاله، به بررسی روش سریع و کارآمد اجرای مدل بزرگ BLOOM با استفاده از DeepSpeed و Accelerate می‌پردازیم، نکات ایجادی، سخت‌افزار و راهکارهای عملی.
پژوهش
چگونه مدل 176B پارامتر BLOOM با استفاده از تکنیک‌های پیشرفته آموزش یافت
BLOOM، مدل زبان ۱۷۶ میلیارد پارامتر، با ترکیبی از معماری Megatron‑DeepSpeed و تکنیک‌های دروازه داده‌ای، توزیعی و حافظه‑بهینه آموزش یافت؛ دقت و سرعت حداکثری را در محیط‌های منابع محدود ارائه می‌دهد.
پژوهش
هوش مصنوعی در بزرگ‌سازی مدل: بهره‌برداری از DeepSpeed و Accelerate
در این مقاله به بررسی نحوه استفاده از کتابخانه Accelerate در درک مدل‌های بزرگ با DeepSpeed و جلوگیری از خطای حافظه پرداخته می‌شود. راهنمایی عملی و نکات کلیدی برای مهندسان هوش مصنوعی!
آموزش
هوش مصنوعی و بهینه‌سازی حافظه: معرفی ZeRO با DeepSpeed و FairScale
با رشد مدل‌های بزرگ، حافظه GPU پاسخگو نیست. ZeRO در DeepSpeed و FairScale راهکاری برای آموزش سریع‌تر و بهینه‌سازی مصرف حافظه است.