پژوهش
هوش مصنوعی در دسترس همه: همکاری NVIDIA و Hugging Face معرفی سرویس خوشهسازی آموزش
در روزگارد GTC پاریس، همکاری جدید هگینگ فیس و NVIDIA چرخاندن دسترسی به خوشههای گرافیک بالا را برای مراکز پژوهشی فراهم میکند. سرویس Training Cluster as a Service امکان آموزش مدلهای بنیادی در حوزههای مختلف را به همه میدهد.
پژوهش
هوش مصنوعی بدون GPU: چگونگی افزایش کارایی با vLLM هممحور در TRL
این مقاله روش Co‑Located vLLM در TRL را معرفی و نشان میدهد چگونه با استفاده از GPUهای مشترک، کارایی مدلهای LLM را بدون هزینه اضافی به حداکثر میرساند.
پژوهش
هوش مصنوعی و Prefill - راهکارهای بهینهسازی پردازش موازی در LLM
در این گزارش به بررسی استراتژیهای Prefill و Decode برای پردازش موازی در مدلهای زبانی بزرگ میپردازیم، تمرکز بر بهینهسازی تاخیر، Throughput و مصرف GPU.
پژوهش
بهینهسازی صف درخواست در هوش مصنوعی: سروری هوشمند برای بارگذاری موازی مدلها
در این مقاله به چالشهای همزمانسازی دسترسی به مدلهای بزرگ زبان پرداخته و راهکارهای صفبندی عادلانه، مانع از بلوک شدن کاربران قدرتمند و بهینهسازی مصرف GPU میشود برای بهبود کارایی و بهرهوری شبکههای هوش مصنوعی.
مدلها
هوش مصنوعی با Remote VAE ها: تسهیل پردازش تصویر با اِندپوینت خارج از سازمان
Hugging Face با Remote VAE، پردازش دیسک‑کدینگ تصاویر و ویدیوها را با مصرف حافظه کمتر و سرعت بالاتر با استفاده از Endpoints ارائه میکند.
سختافزار
تجسم و درک حافظه GPU در PyTorch
ما در مسیر پیشرفت و دموکراتیزه کردن هوش مصنوعی از طریق متنباز و علم آزاد هستیم.
سختافزار
Transformers.js v3: پشتیبانی از WebGPU و مدلهای جدید هوش مصنوعی
نسخهٔ جدید Transformers.js با ارایه پشتیبانی از WebGPU، مدلهای تکستوک، دقتهای جدید کوانتایزیشن و قابلیتهای روبهریزی در مرورگرهای مدرن، سطرهای کدنویسی را به سطح بالاتری میبرد.
اخبار
هوش مصنوعی بدون سرور: Deploy on Cloudflare Workers AI در Hugging Face
Hugging Face با همکاری Cloudflare اعلام کرد سرویس Deploy on Cloudflare Workers AI راهاندازی شد؛ این سرویس امکان اجرای مدلهای هوش مصنوعی بر روی GPUهای سرورلس را بدون نیاز به مدیریت سرور فراهم میکند.
اخبار
آموزش مدلهای هوش مصنوعی با H100 در سرویس جدید Hugging Face
با سرویس Train on DGX Cloud، سازمانها میتوانند مدلهای محبوب مانند Llama و Mistral را با GPUهای H100 در چند کلیک روی هاب Hugging Face تنظیم دقیق کنند.
پژوهش
آموزش تنظیم دقیق مدلهای جما با هوش مصنوعی در Hugging Face
در این مقاله، روش تنظیم دقیق کارآمد پارامتر (PEFT) مدلهای جما را با کتابخانههای Hugging Face روی GPU و TPU میآموزیم؛ راهکاری نوین برای سفارشیسازی هوش مصنوعی.