یکپارچگی TGI با سخت‌افزار Intel Gaudi
Hugging Face با ایجاد ادغام مستقیم میان TGI و پردازنده‌های Gaudi، به شرکت‌ها و پژوهشگران امکان می‌دهد تا مدل‌های بزرگ زبان را بدون نیاز به توسعه فِیچ‌های سفارشی، اجرا کنند.
معماری چند-پایپ TGI و برتری آن
TGI با معماری چندرشته متغیر، می‌تواند در برابر سخت‌افزارهای مختلف، شامل Gaudi، بهینه‌سازی شود و عملکرد بی‌نظیری در راندمان و زمان پاسخ‌گویی ایجاد کند.
نحوه راه‌اندازی روی Gaudi با استفاده از Docker
کافی است تصویر رسمی Docker در ghcr.io/huggingface/text-generation-inference را بر روی ماشینی با Gaudi نصب کنید و پارامترهای کانتینر را مطابق مستندات تنظیم کنید.
- ابتدا Docker را نصب کنید.
- تصویر را بارگیری کنید: docker pull ghcr.io/huggingface/text-generation-inference:latest
- کادر را با پارامترهای Gaudi اجرا کنید: docker run --gpus all -p 8080:80 ghcr.io/huggingface/text-generation-inference:latest --model-id <model_id> --backend gaudi
شرکت‌ها می‌توانند به راحتی از این معماری بهره‌مند شوند و با تغییر پارامترها، به سرعت مدل‌های خود را بر روی Gaudi راه‌اندازی کنند.
پرسش‌های پرتکرار
چگونه می‌توان TGI را بر روی Intel Gaudi اجرا کرد؟
برای راه‌اندازی TGI بر روی Gaudi ابتدا تصویر رسمی Docker را دانلود کنید، سپس با پارامترهای مربوط به Gaudi کانتینر را اجرا کنید. شامل تنظیم <code>--backend gaudi</code> در فرمان اجرای کانتینر می‌شود.
پیش‌نیازهای سخت‌افزاری برای اجرای TGI بر روی Gaudi چیست؟
شما نیاز به دستگاهی با پردازنده‌های Intel Gaudi دارید که حداقل نسخهٔ آخرین firmware Gaudi را نصب کند، همچنین باید Docker Engine نصب و تنظیم شده باشد و دسترسی به GPUها در Kubernetes یا محیط محلی فراهم باشد.
