پژوهش
هوش مصنوعی در Hugging Face: افزایش سرعت آموزش تا ۲ برابر با Flash Attention 2
Hugging Face با بهروزرسانی Flash Attention 2، امکان آموزش مدلهای هوش مصنوعی را تا دو برابر سرعت میدهد. با پیککردن نمونهها بدون پر کردن و بهرهگیری از DataCollatorWithFlattening، کارایی در حین حفظ کیفیت همواری به حداکثر میرسد.
پژوهش
هوش مصنوعی در ابرداده «Meta Llama 3.1 405B» بر روی Vertex AI گوگل کلود
مدل Llama 3.1 405B Meta به صورت متنمحور و چندزبانه، امکان پیشبینیهای آنلاین در Vertex AI گوگل کلود را با سرعت و دقت بالا فراهم میکند.
پژوهش
هوش مصنوعی و آزمایش ناکام «Infini‑Attention»؛ چرا هنوز تلاش کنیم؟
استخراج و آزمایش مدل Infini‑Attention نشان داد که فشردهسازی حافظه مدل در طول زمینه طولانی باعث کاهش عملکرد میشود؛ این مقاله به بررسی دلایل این شکست و نگاهی به راههای جایگزین میپردازد.