پژوهش
هوش مصنوعی: چگونه پرامپتهای طولانی صفهای پیشبینی را مسدود میکنند
در این مقاله به بررسی چالشهای پرامپتهای طولانی در مدلهای زبان بزرگ و راهحلهای پیشنهادی برای بهبود تأخیر و کارایی پرداختهایم.
پژوهش
هوش مصنوعی در دسترس همه: همکاری NVIDIA و Hugging Face معرفی سرویس خوشهسازی آموزش
در روزگارد GTC پاریس، همکاری جدید هگینگ فیس و NVIDIA چرخاندن دسترسی به خوشههای گرافیک بالا را برای مراکز پژوهشی فراهم میکند. سرویس Training Cluster as a Service امکان آموزش مدلهای بنیادی در حوزههای مختلف را به همه میدهد.
پژوهش
هوش مصنوعی در پایتون: ساخت اپلیکیشن کمکد با Tiny Agents
با Tiny Agents، یک عامل هوش مصنوعی فراگیری در پایتون، در حدود 70 خط کد، به سادگی میتوانید قدرت ابزارهای خارجی را در مدلهای زبان بزرگ استخراج کنید.
پژوهش
Falcon‑Edge: مدلهای هوش مصنوعی 1.58bit برای زیرساختهای کوچک و راههای مقیاسپذیری جدید
در این گزارش به معرفی Falcon‑Edge، مجموعهای از مدلهای زبان قدرتمند 1.58bit میپردازیم که بر معماری BitNet بنا شدهاند و در قالب سهنیتی قابل تنظیم و مقیاسپذیر هستند.
پژوهش
همکاری هوش مصنوعی: اتصال هنجینگ فیس با کگل برای دسترسی سریع به مدلها
کگل و هنجینگ فیس در گام جدیدی پیشقدم شدند؛ با ادغام مستقیم مدلها، دسترسی راحتتر و اجرای سریعتر را برای پژوهشگران داده ارائه میدهند.
پژوهش
هوش مصنوعی: AutoRound شرکت اینتل برای کمینهسازی مدلهای LLM و VLM
AutoRound از اینتل، یک ابزار کوانتایزیشن وزن-فقط برای LLMs و VLMs است که با دقت بالا در بیتهای 2 تا 8، حجم مدل را تا ۳۰٪ کاهش میدهد.
پژوهش
هوش مصنوعی و Prefill - راهکارهای بهینهسازی پردازش موازی در LLM
در این گزارش به بررسی استراتژیهای Prefill و Decode برای پردازش موازی در مدلهای زبانی بزرگ میپردازیم، تمرکز بر بهینهسازی تاخیر، Throughput و مصرف GPU.