شرکت Hugging Face با همکاری پروژه BigCode، مدل زبانی بزرگ جدیدی به نام StarCoder را معرفی کرده است. این مدل که یکی از پیشرفته‌ترین مدل‌های متن‌باز برای کدنویسی محسوب می‌شود، می‌تواند کد را در بیش از ۸۰ زبان برنامه‌نویسی تولید و درک کند.
StarCoder چگونه آموزش دیده است؟
مدل StarCoder بر پایه StarCoderBase ساخته شده که با یک تریلیون توکن از داده‌های مجاز GitHub آموزش دیده است. این داده‌ها شامل کامیت‌های گیت، مسائل GitHub و نوت‌بوک‌های Jupyter می‌شود. سپس با ۳۵ میلیارد توکن مخصوص پایتون تنظیم دقیق شده تا عملکرد بهتری در این زبان داشته باشد.
عملکرد و قابلیت‌ها
بر اساس بنچمارک‌های عمومی، StarCoderBase از تمام مدل‌های متن‌باز کدنویسی قبلی بهتر عمل می‌کند و به مدل‌های بسته‌ای مانند code-cushman-001 از OpenAI می‌رسد. این مدل با پنجره زمینه‌ای بیش از ۸۰۰۰ توکن، نسبت به سایر مدل‌های متن‌باز، ورودی بیشتری را پردازش می‌کند.
- آموزش روی داده‌های مجاز از GitHub
- پشتیبانی از ۸۰+ زبان برنامه‌نویسی
- پارامترهای ۱۵ میلیاردی
- پنجره زمینه‌ای ۸۰۰۰ توکنی
- توانایی عمل به عنوان دستیار فنی
کاربردهای عملی
یکی از کاربردهای جالب StarCoder این است که با دادن مجموعه‌ای از دیالوگ‌ها به آن، می‌توانید مدل را به یک دستیار فنی تبدیل کنید. این قابلیت به توسعه‌دهندگان کمک می‌کند تا پاسخ سوالات برنامه‌نویسی را به صورت تعاملی دریافت کنند.
دسترس‌پذیری و متن‌باز بودن
StarCoder توسط Hugging Face و با رویکرد متن‌باز و علم باز منتشر شده است. این حرکت گامی مهم در جهت دموکراتیزه کردن هوش مصنوعی است و به پژوهشگران و توسعه‌دهندگان اجازه می‌دهد به یک مدل قدرتمند کدنویسی دسترسی داشته باشند.
پرسش‌های پرتکرار
StarCoder چیست؟
StarCoder یک مدل زبانی بزرگ متن‌باز است که برای تولید و درک کد برنامه‌نویسی طراحی شده و توسط Hugging Face و پروژه BigCode منتشر شده است.
مزیت اصلی StarCoder نسبت به مدل‌های دیگر چیست؟
مهم‌ترین مزیت آن، پنجره زمینه‌ای ۸۰۰۰ توکنی و آموزش روی داده‌های مجاز از بیش از ۸۰ زبان برنامه‌نویسی است که آن را از سایر مدل‌های متن‌باز متمایز می‌کند.
