مقدمه
در دنیای امروز، شرکت‌های فناوری به دنبال راه‌حل‌های هوش مصنوعی کارآمد، مقرون به صرفه و قابل انعطاف هستند. مفتخرخواهیم که نتایج بازرسی دقیق 60 برچسب مختلف از ماژول‌های Llama 2 بر روی Amazon SageMaker را به اشتراک می‌گذاریم. این بنچمارک به کمک کانتینر نوآور Hugging Face LLM Inference انجام شد و بر اساس معیارهای عملکرد و هزینه طراحی گردید.
روش‌شناسی بنچمارک
پنج زیرمجموعه‌ی مختلف از مقیاس‌های Llama 2 (7B، 13B، 70B و مدل‌های فاکتورِنس) در کنار هشت نوع مختلف مسابقه‌ی EC2 (مثل m5, c5, g4, p3, g5) آزمایش شدند. هر ترکیب با ۵ بار بارگذاری مختلف (از ۲۰ تا ۸۰۰ درخواست در ثانیه) میزبانی شد و دو متغیر مهم: میانگین تاخیر (ms/token) و نرخ خروجی (tokens/ثانیه) دریافت شد. تمامی لاگ‌ها و کدهای مورد استفاده در این وبلاگ Hugging Face قابل دسترس هستند.
نتایج کلیدی
- استفاده از مدل Llama 2 7B بر روی EC2 m5.large، بهترین تعادل بین هزینه و تاخیر محسوب شد؛ نرخ خروجی ۲۰۰۰ tokens/ثانیه و تاخیر ۱۵۰ میلی‌ثانیه.
- بزرگترین مدل (70B) فقط با g5.12xlarge به دقت ۲۰۰ میلی‌ثانیه و نرخ ۳۵۰ tokens/ثانیه دست یافت.
- سیاست‌های حق‌الزحمه G4 و p3 برای استقرار‌های کوتاه مدت، حداقل ۱۰٪ هزینه را کاهش می‌دهند.
- برای بیشینه throughput، استفاده از SP-1 (مجموعه حافظه‌های سطح بالا) در ترکیب با پیکربندی‌های g5، اثر چشم‌گیری دارد.
سازندگان این بنچمارک تشویق می‌شوند تا بر اساس جزئیات مورد استفاده از متغیرهای متقابل، راهکارهای سفارشی را برای سازمان‌های خود پیاده کنند.
پرسش‌های پرتکرار
چه مدل‌های Llama 2 در این بنچمارک مورد بررسی قرار گرفتند؟
مدل‌های 7B، 13B و 70B و همچنین نسخه‌های فاکتورِنس برای مقیاس‌های مختلف در این آزمون آزمایش شدند.
نحوه استفاده از این نتایج برای شرکت‌های کوچک و متوسط چیست؟
با انتخاب مدل کوچک‌تر و پیکربندی‌های اقتصادی مثل m5.large یا c5.large، شرکت‌ها می‌توانند هزینه‌ها را زیر ۲۰٪ کاهش داده و در عین حال عملکرد مناسب را حفظ کنند.
