سختافزار
AMD EPYC نسل پنجم: دو برابر سرعت LLM و شتاب AI با Zen5
AMD نسل پنجم EPYC را به بازار معرفی کرد؛ با معماری Zen5 و حداکثر 192 هسته، سرعت اجرای مدلهای زبانی دو برابر میشود و شتاب AI در سرورها افزایش مییابد.
پژوهش
هوش مصنوعی به سرعت میرود: Dynamic Speculation در Hugging Face
این خبر، فناوری Dynamic Speculation را معرفی میکند؛ روشی اجمالی و سریع برای تولید متن با سرعت تا ۲.۷ برابر، از Intel و Hugging Face. سریع و دقیق.
مدلها
لاما ۳.۲: ورود هوش مصنوعی چندوجهی به دستگاههای شخصی
میتا و هوگینگفیس از لاما ۳.۲ رونمایی کردند؛ نسل جدیدی از مدلهای هوش مصنوعی با قابلیت بینایی و اجرای محلی روی تلفن همراه و筆記دهاری، که دموکراتیزه سازی AI را تسهیل میکند.
پژوهش
هوش مصنوعی در Hugging Face: افزایش سرعت آموزش تا ۲ برابر با Flash Attention 2
Hugging Face با بهروزرسانی Flash Attention 2، امکان آموزش مدلهای هوش مصنوعی را تا دو برابر سرعت میدهد. با پیککردن نمونهها بدون پر کردن و بهرهگیری از DataCollatorWithFlattening، کارایی در حین حفظ کیفیت همواری به حداکثر میرسد.
پژوهش
هوش مصنوعی با مدل Falcon Mamba: نخستین 7B بدون دقت متن کامل
مدلی نوآورانه و بدون دقت (attention‑free) با 7 میلیارد پارامتر، Falcon Mamba را که توسط تیم نوآوری تکنولوژی در ابوظبی پردازش کردهایم، در همین هفته معرفی میکنیم و کاربردهای آن را بررسی میکنیم.