پژوهش
هوش مصنوعی در Hugging Face: افزایش سرعت آموزش تا ۲ برابر با Flash Attention 2
Hugging Face با به‌روزرسانی Flash Attention 2، امکان آموزش مدل‌های هوش مصنوعی را تا دو برابر سرعت می‌دهد. با پیک‌کردن نمونه‌ها بدون پر کردن و بهره‌گیری از DataCollatorWithFlattening، کارایی در حین حفظ کیفیت همواری به حداکثر می‌رسد.
سخت‌افزار
هوش مصنوعی با سرعت دو برابر: BridgeTower در قله‌ی Habana Gaudi2
BridgeTower به کمک سخت‌افزار Habana Gaudi2، سرعت دو برابر در آموزش مدل دید و زبان دست‌یافت، قطر فاصله‌ی پردازش بین A100 و H100 را کاهش داد.
پژوهش
سرعت آموزش مدل‌های هوش مصنوعی ۳۵% سریعتر با Optimum+ONNX Runtime
حکیمی‌ترین مدل‌های هوش مصنوعی با تمهیدات Optimum و ONNX Runtime، در مدت زمان کمتر از قبل به دقت و سرعت بیشتری آموزش می‌یابند. ایده‌های جدید در این حوزه در آینده نزدیک چالش‌های بزرگی را حل می‌کنند.
آموزش
تسلط بر آموزش توزیع‌شده در هوش مصنوعی با PyTorch DDP و Accelerate
در این مقاله مراحل آموزش توزیع‌شده با PyTorch DDP و ابزارهای Accelerate و Trainer بررسی می‌شود، به‌منظور تسهیل فراگیری توسعه مدل‌های هوش مصنوعی بزرگ.
پژوهش
هوش مصنوعی: وزن‌گذاری Weight Normalization برای تسریع شبکه‌های عمیق
در این مقاله به بررسی Weight Normalization، تکنیک ساده و قدرتمندی پرداخته می‌شود که سرعت آموزش شبکه‌های عمیق را به شکل قابل‌توجهی افزایش می‌دهد و مشکلات ناپایداری گرادیان را کاهش می‌دهد.