پژوهش
هوش مصنوعی و Prefill - راهکارهای بهینهسازی پردازش موازی در LLM
در این گزارش به بررسی استراتژیهای Prefill و Decode برای پردازش موازی در مدلهای زبانی بزرگ میپردازیم، تمرکز بر بهینهسازی تاخیر، Throughput و مصرف GPU.
آموزش
هوش مصنوعی: چگونه دوره NLP به دوره LLM تبدیل شد
Hugging Face دورهٔ آموزشی خود را از NLP به LLM بازسازی کرده تا با پیشرفتهای سریع هوش مصنوعی همسو شود. این بروزرسانی شامل محتواهای تعاملی، جلسات زنده و ابزارهای جدید است.
آموزش
آموزش گام به گام اجرای مدلهای هوش مصنوعی روی گوشی با React Native
در این مقاله یاد میگیرید چگونه مدلهای زبانی بزرگ را با React Native روی گوشی اجرا کنید؛ از انتخاب مدل و فرمت GGUF تا پیادهسازی چت.
محصولات
Outlines-core 0.1.0: هوش مصنوعی در Rust و Python تولید خروجی ساختار یافته
تولید متنهای ساختار یافته با Outlines-core نسخه 0.1.0، پشتیبانی از Rust و Python، سرعت، ایمنی و قابلیت تعمیم بالا برای مدلهای زبانی بزرگ.
پژوهش
کوانتیزیشن افراطی هوش مصنوعی: بهینهسازی مدلهای زبانی به ۱.۵۸ بیت
تیم Hugging Face با ارائه فاینتیونینگ مدلهای زبانی در ۱.۵۸ بیت، روشی جدید برای کاهش شدید مصرف منابع و افزایش کارایی هوش مصنوعی در مقیاس گسترده معرفی کرد.
پژوهش
هوش مصنوعی در ابرداده «Meta Llama 3.1 405B» بر روی Vertex AI گوگل کلود
مدل Llama 3.1 405B Meta به صورت متنمحور و چندزبانه، امکان پیشبینیهای آنلاین در Vertex AI گوگل کلود را با سرعت و دقت بالا فراهم میکند.