جستجو: کوانتیزه‌سازی

پژوهش کمتر شدن هزینه و افزایش سرعت بازیابی داده‌ها با کوانتیزه‌سازی هوش مصنوعی Hugging Face روش‌های کوانتیزه‌سازی باینری و اسکالر را برای کاهش به‌مراتب مصرف حافظه و افزایش سرعت بازیابی مدل‌های ادغام در ۴۱ میلیون سند ویکی‌پدیا معرفی کرد. این فناوری دموکراتیزاسیون هوش مصنوعی را تسهیل می‌کند. ۳ فروردین ۱۴۰۳ ۲ دقیقه

مدل‌ها کوانتو؛ بکاند کوانتیزهسازی پایتورچ برای استقرار مدلهای هوش مصنوعی کوانتو یک بکاند کوانتیزهسازی برای پایتورچ است که توسط Hugging Face برای کاهش مصرف حافظه و افزایش سرعت پردازش مدلهای هوش مصنوعی معرفی شده است. ۲۸ اسفند ۱۴۰۲ ۲ دقیقه

مدل‌ها بهینه‌سازی مدل‌های جاسازی هوش مصنوعی روی CPU با Optimum Intel و fastRAG روش جدید بهینه‌سازی مدل‌های جاسازی (Embedding) با ابزار Optimum Intel و fastRAG برای اجرای سریع و کم‌هزینه روی پردازنده مرکزی، بدون افت کیفیت. ۲۵ اسفند ۱۴۰۲ ۲ دقیقه

پژوهش هوش مصنوعی در پیشرفت با StarCoder: کوانتیزه‌سازی 8/4 بیت و Speculative کوانتیزه‌سازی 8/4 بیت و تکنیک Speculative Decoding در مدل کد نویسی StarCoder باعث افزایش سرعت و کاهش مصرف حافظه می‌شود، مستقیماً بهره‌ورتر شدن LLMs در محیط‌های نسل جدید. ۱۰ بهمن ۱۴۰۲ ۲ دقیقه

پژوهش کشف مزایا و معایب کوانتیزه‌سازی مدل‌های هوش مصنوعی در Transformers متن به بررسی مزایا و معایب دو روش کوانتیزه‌سازی، BitsAndBytes و AutoGPTQ، در کتابخانه Transformers می‌پردازد و راهنمایی برای انتخاب مناسب ارائه می‌دهد. ۲۱ شهریور ۱۴۰۲ ۲ دقیقه