معرفی AMD EPYC نسل پنجم
در تاریخ 10 اکتبر 2024، شرکت AMD با معرفی سرورهای EPYC نسل پنجم، پلی را به سوی نسل جدید پردازنده‌های سرور می‌گشاید. این پردازنده‌ها بر پایه معماری Zen5 تنظیم شده و حداکثر 192 هسته و 384 رشتهٔ چندتایی را در بر دارند.
اثر چشمگیر بر عملکرد مدل‌های زبانی
یک گام دو برحسب سرعت مولکولی، افزایشی دوگانه در عملکرد «Llama 3.1 8B Instruct» در میزان ترافیک و ریسپانس زمان کوئری‌ها به دست آمده است. این به‌روزرسانی نه‌تنها مراکز داده‌ی شرکت‌های فناوری، بلکه خدمات ابری جدیدی را برای کاربران متن‌باز نیز رقم می‌زند.
Hugging Face، در همکاری صمیمی با AMD، این معماری جدید را آزمایش کرده و تضمین کرده است که سازگاری کامل با اکوسیستم و مستندات موجود حفظ می‌شود.
پشتوانه‌ی Torch.compile برای AMD ZenDNN PyTorch
به کمک افزونهٔ zentorch، ترکیبی از Torch.compile و ZenDNN، کاربران می‌توانند بارهای آزمایشی خود را تا دو برابر سرعت جنباندن مجدد قرار دهند. این امر برای پردازش مدل‌های بازگشتی و RAG سیستم‌ها اثر برتری دارد.
- درصد ۲x افزایش در سرعت کاربری
- حداکثر ۹۶ هسته برای پردازش موازی
- حفظ سازگاری با نسخه‌های قبلی با تغییرات محدود
- پشتیبانی از محیط‌های متن باز مانند PyTorch و TensorFlow
پرسش‌های پرتکرار
ای دی AMD EPYC نسل پنجم چه تفاوتی با نسل قبلی دارد؟
این نسل بر پایه معماری Zen5 است و تا 192 هسته و 384 رشتهٔ چندتایی ارائه می‌دهد؛ سرعت پردازش دو برابر می‌شود و برای مدل‌های زبانی بزرگ بسیار مناسب است.
Hugging Face چگونه از این پردازنده بهره می‌برد؟
Hugging Face با تست کامل در سرورهای EPYC 5th Gen، اطمینان حاصل کرده است که مدل‌های خود، کاراکس‌های Torch.compile و افزونه zentorch را در این معماری به طور کامل پشتیبانی می‌کنند.
