پژوهش
آیا LoRA بهترین روش تنظیم دقیق هوش مصنوعی است؟
در این مقاله بررسی می‌کنیم که آیا روش محبوب LoRA واقعاً بهترین گزینه برای تنظیم دقیق کارآمد پارامتری مدل‌هاست و چه ابزارهایی در این مسیر کمک می‌کنند.
پژوهش
هوش مصنوعی: سرعت جدید LoRA در مدل Flux برای تولید تصویر
با استفاده از Fast LoRA در مدل Flux، سرعت تولید تصویر تا 2.3× بالا رفت و امکان سفارشی‌سازی LoRAها با کدهای متن‌باز فراهم شد. برای پژوهشگران و توسعه‌دهندگان در جامعه هوش مصنوعی، این دستاورد امکان توسعه سریع‌تر مدل‌ها و بهینه‌سازی در محیط‌های پرکاربرد را فراهم می‌کند.
پژوهش
هوش مصنوعی در Liger GRPO: تقویت TRL با بهینه‌سازی حافظه و مقیاس‌پذیری
در این خبر، Liger GRPO با کاهش مصرف حافظه ۴۰٪ و افزودن امکانات FSDP و PEFT، آموزش RL را برای مدل‌های بزرگ بهینه می‌کند و به تسهیل مقیاس‌پذیری در چند گپ تبدیل می‌شود.
پژوهش
آموزش تنظیم دقیق مدل‌های جما با هوش مصنوعی در Hugging Face
در این مقاله، روش تنظیم دقیق کارآمد پارامتر (PEFT) مدل‌های جما را با کتابخانه‌های Hugging Face روی GPU و TPU می‌آموزیم؛ راهکاری نوین برای سفارشی‌سازی هوش مصنوعی.
مدل‌ها
PEFT روش‌های جدیدی برای ادغام مدل‌های هوش مصنوعی معرفی کرد
کتابخانه PEFT هگز فیس با افزودن روش‌های جدید ادغام LoRA مانند TIES و DARE، مسیر بهینه‌سازی مدل‌های زبانی بزرگ را هموارتر کرد. با این تکنیک‌ها، مدل‌های قدرتمندتری با مصرف حافظه کمتر بسازید.
مدل‌ها
هوش مصنوعی متن‌باز: اکوسیستم جامع LLM در هاجنگ فیس و روندهای آینده ۲۰۲۳
اقدامات هاجنگ فیس برای ایجاد اکوسیستم متن‌باز و ابزارهای کامل LLM به‌رباب تولید مدل‌های متن‌آفرین، دیتاست، فضا و راهنمای سرویس‌دهی، شامل Llama 2 و PEFT، در سال ۲۰۲۳ روشن شد.
پژوهش
هوش مصنوعی: آموزش فاین‌تیونینگ 20B مدل با RLHF روی کارت گرافیک 24GB
در این مقاله، به بررسی آموزش فاین‌تیونینگ 20B مدل زبانی با یادگیری تقویتی (RLHF) روی کارت گرافیک 24GB پرداخته‌ایم و نکات کلیدی را در راه‌حل‌های متن‌باز پوشش می‌دهیم.
پژوهش
هوش مصنوعی پیشرفته: PEFT با پارامترهای کم برای مدل‌های میلیاردی و نرم‌افزار متن‌باز
PEFT، روشی نوین در فاین‌تینینگ مدل‌های بزرگ، امکان آموزش با پارامترهای محدود و سخت‌افزار کم‌سرمایه را می‌آورد؛ این مقاله به مفاهیم، کاربردها و نکات کلیدی آن می‌پردازد.