پژوهش
DeepSpeed و FSDP: با یکدیگر در پشتیبان هوش مصنوعی Hugging Face
دستگاههای DeepSpeed و FSDP در Hugging Face بهصورت متناظر در پردازش دادههای هوش مصنوعی به کار گرفته میشوند؛ مقاله اینبار تفاوتهای میان دو معماری و بهینهسازی در بحث توانمندسازی مدلها را بررسی میکند.
پژوهش
هوش مصنوعی بر روی سرورهای Xeon: SetFit با سرعتشده توسط Intel
SetFit با بهرهگیری از Optimum Intel بر روی پردازندههای Xeon با سرعت بیسابقهای به قضاوتهای چند-خطی دست مییابد؛ مقاله این راهحل و روند بهینهسازی را بررسی میکند.
پژوهش
کمتر شدن هزینه و افزایش سرعت بازیابی دادهها با کوانتیزهسازی هوش مصنوعی
Hugging Face روشهای کوانتیزهسازی باینری و اسکالر را برای کاهش بهمراتب مصرف حافظه و افزایش سرعت بازیابی مدلهای ادغام در ۴۱ میلیون سند ویکیپدیا معرفی کرد. این فناوری دموکراتیزاسیون هوش مصنوعی را تسهیل میکند.
پژوهش
GaLore: آموزش مدلهای زبانی بزرگ روی سختافزار مصرفی با هوش مصنوعی
تکنیک نوین GaLore با کاهش شدید مصرف حافظه در حالتهای بهینهساز، امکان آموزش مدلهای زبانی چند miljard پارامتری را روی کارتهای گرافیک معمولی و ارزانیتر برای پژوهشگران فراهم میکند.
مدلها
کوانتو؛ بکاند کوانتیزهسازی پایتورچ برای استقرار مدلهای هوش مصنوعی
کوانتو یک بکاند کوانتیزهسازی برای پایتورچ است که توسط Hugging Face برای کاهش مصرف حافظه و افزایش سرعت پردازش مدلهای هوش مصنوعی معرفی شده است.
مدلها
بهینهسازی مدلهای جاسازی هوش مصنوعی روی CPU با Optimum Intel و fastRAG
روش جدید بهینهسازی مدلهای جاسازی (Embedding) با ابزار Optimum Intel و fastRAG برای اجرای سریع و کمهزینه روی پردازنده مرکزی، بدون افت کیفیت.
مدلها
PEFT روشهای جدیدی برای ادغام مدلهای هوش مصنوعی معرفی کرد
کتابخانه PEFT هگز فیس با افزودن روشهای جدید ادغام LoRA مانند TIES و DARE، مسیر بهینهسازی مدلهای زبانی بزرگ را هموارتر کرد. با این تکنیکها، مدلهای قدرتمندتری با مصرف حافظه کمتر بسازید.
پژوهش
هوش مصنوعی: بهبود مدلهای زبانی با روشهای بهینهسازی ترجیحات مستقیم
در آخرین پژوهش از هاگفیس، روشهای بهینهسازی ترجیحات مستقیم میتوانند مدلهای زبانی را بدون استفاده از یادگیری تقویتی همگرا کنند. نتایج نشان میدهد IPO مشابه DPO و بهتر از KTO است.
مدلها
هوش مصنوعی در عمل: تبدیل ورکفلوهای ComfyUI به اپلیکیشن گراودری رایگان
در این مقاله، گامهای ساده تبدیل ورکفلو ComfyUI به گراودری و استقرار آزاد در Hugging Face ZeroGPU را بررسی میکنیم بهصورت ساده و بدون نیاز به سرور.