پژوهش
هوش مصنوعی: چگونه پرامپتهای طولانی صفهای پیشبینی را مسدود میکنند
در این مقاله به بررسی چالشهای پرامپتهای طولانی در مدلهای زبان بزرگ و راهحلهای پیشنهادی برای بهبود تأخیر و کارایی پرداختهایم.
پژوهش
هوش مصنوعی بدون GPU: چگونگی افزایش کارایی با vLLM هممحور در TRL
این مقاله روش Co‑Located vLLM در TRL را معرفی و نشان میدهد چگونه با استفاده از GPUهای مشترک، کارایی مدلهای LLM را بدون هزینه اضافی به حداکثر میرساند.
پژوهش
هوش مصنوعی در Liger GRPO: تقویت TRL با بهینهسازی حافظه و مقیاسپذیری
در این خبر، Liger GRPO با کاهش مصرف حافظه ۴۰٪ و افزودن امکانات FSDP و PEFT، آموزش RL را برای مدلهای بزرگ بهینه میکند و به تسهیل مقیاسپذیری در چند گپ تبدیل میشود.
پژوهش
هوش مصنوعی در پایتون: ساخت اپلیکیشن کمکد با Tiny Agents
با Tiny Agents، یک عامل هوش مصنوعی فراگیری در پایتون، در حدود 70 خط کد، به سادگی میتوانید قدرت ابزارهای خارجی را در مدلهای زبان بزرگ استخراج کنید.
مدلها
هوش مصنوعی Falcon‑H1: مدلهای هوشمند ترکیبی با کارایی بینظیر
ماکزیم چند مدل Falcon‑H1 را معرفی کنید: ترکیبی از معماری هیبریدی ترنسفورمر و مدل فضای حالت، با عملکرد بالا در زبان، کارایی اندیشمندی، و بازتابپذیری در حجم متن بزرگ.
پژوهش
هوش مصنوعی و Prefill - راهکارهای بهینهسازی پردازش موازی در LLM
در این گزارش به بررسی استراتژیهای Prefill و Decode برای پردازش موازی در مدلهای زبانی بزرگ میپردازیم، تمرکز بر بهینهسازی تاخیر، Throughput و مصرف GPU.