مقدمه
ابزار SetFit یکی از مدلن‌های پیشتاز در حوزهٔ یادگیری چند-خطی (few‑shot) تبدیل جمله‌سازی است که توسط تیم‌های Hugging Face و Intel Labs توسعه داده‌شدهٔ می‌باشد. به‌طوری‌که با مجموعهٔ بسیار کوچک داده‌های برچسب‌خورده، عملکردی رقابتی با مدل‌های بزرگتر از جمله GPT-4 فراهم می‌کند.
چند-خطی بدون prompts
از جایگاه‌های جاه‌زدهٔ مدل‌های فراخوانی‌کنندهٔ زبان، SetFit به‌طور مستقیم از توزیع‌های جمله تقلیل یافته برای دسته‌بندی استفاده می‌کند و نیازی به طراحی prompts یا پراکسی‌های صریح ندارد. این پلاتفورم باعث صرفه‌جویی در منابع و بالابری در پایداری نتایج می‌شود.
Component راهکار Optimum Intel
برای دستیابی به سرعت بالا در مراکز داده، یک دو مرحله برآیند استفاده می‌شود:
- ۱. کالبد‌سازی (Quantization): مدل SetFit به زبان‌های ۸ بیتی (int8) بر مبنای الگوریتمی از Optimum Intel نگاشت می‌شود تا حجم حافظهٔ مورد نیاز کاهش پیدا کند.
- ۲. Bench‑marking و بهینه‌سازی: فرآیندی به‌صورت طولانی‌مدتی بر روی میکروکنتیٔن Xeon انجام می‌گیرد تا زمان درون مدل، API latency و throughput بررسی گردد.
نتایج و تأثیرات
بر اساس گزارش، SetFit در دادهٔ Banking 77 در مقایسه با GPT-3.5 و GPT-4، در مقیاس ۳ و ۵-خطی به‌نظر می‌آید که توان محاسبهٔ تواضع آفرین‌تری داشته و برنامه‌نویسان می‌توانند تا ۳۰٪ زمان پردازش را در مقایسه با روش معمول کاهش دهند. این نمایش، ارائهٔ ابزارهای نموداری و داده‌های حاکی از سرعت در سرورهای Intel Xeon می‌باشد.
پرسش‌های پرتکرار
SetFit چیست؟
SetFit یک چارچوب برای fine‑tuning مدل‌های Sentence Transformers با داده‌های کم، بدون نیاز به prompts و با استفاده از embedding-based classification است.
چگونه می‌توان از Optimum Intel برای SetFit استفاده کرد؟
ابتدا با ابزارهای Optimum Intel، مدل SetFit را به int8 کالبد می‌کنید و سپس بر روی سرورهای Xeon می‌توانید به‌سرعت آن را اجرا کرده و نتایج benchmark را در نظر بگیرید.
