جمع‌آوری و پاک‌سازی داده‌ها
مدل SmolLM بر پایه داده‌های جامع Cosmopedia v2 و مجموعه‌های آموزشی مانند FineWeb‑Edu و Stack‑Edu‑Python ساخته شده است. در این مرحله، داده‌ها فیلتر، به‌روزرسانی و با روش‌های پیش‌پردازش پیشرفته پاک‌سازی می‌شوند تا کیفیت بالای آموزش تضمین شود.
معماری و طرز آموزش مدل
در SmolLM سه پیکره 135M، 360M و 1.7B پارامتر وجود دارد که با معماری ترنسفورمر کوچک و تخصیص دقیق حافظه آموزش می‌یابد. ترکیب تکنیک‌های distillation و quantization، حافظه مصرفی را تا ۳۱٪ کاهش می‌دهد و در همان زمان دقت را فقط به اندازه کمی کاهش می‌دهد.
کاربردها و راهنمای استفاده
مدل‌های SmolLM برای اجرا بر دستگاه‌های محلی، سرورها و حتی موبایل طراحی شده‌اند. کاربران می‌توانند با استفاده از کتابخانه Hugging Face Transformers این مدل‌ها را بدون نیاز به GPU بزرگ و یا خدمات ابری اجرا کنند.
- سرعت اطابقاً ۵۵٪ بالاتر از مدل‌های ۱.۷B مشابه
- حجم حافظه ۳۰٪ کمتر، مناسب برای سرورها با محدودیت RAM
- پیکربندی آسان برای fine‑tune بر روی مجموعه داده‌های خاص مشتری
پرسش‌های پرتکرار
SmolLM چیست و چه ویژگی‌های کلیدی دارد؟
SmolLM یک خانواده از مدل‌های کوچک هوش مصنوعی است که با 135M، 360M و 1.7B پارامتر طراحی شده‌اند. این مدل‌ها با استفاده از داده‌های جامع آموزشی، distillation و quantization بهینه شده‌اند، سرعت بالای اجرا، مصرف حافظه کمتر و امکان اجرای محلی را فراهم می‌کنند.
آیا SmolLM می‌تواند بر روی CPU اجرایی شود؟
بله، SmolLM به‌طور کامل و بدون نیاز به GPU بزرگ طراحی شده است؛ به همین دلیل می‌تواند بر روی CPUs معمولی یا سرورهای با محدودیت حافظه اجرا شود.
