با گسترش روزافزون هوش مصنوعی مولد، متن‌سازی با مدل‌های متن‌باز مانند Llama 2 به یکی از پرکاربردترین موضوعات تبدیل شده است. اکنون Hugging Face با همکاری اینتل، استفاده از این مدل‌ها را روی شتاب‌دهنده Intel Gaudi 2 بسیار ساده کرده است. در این مقاله به معرفی خط لوله جدید متن‌سازی و روش‌های استفاده از آن می‌پردازیم.
خط لوله جدید Hugging Face برای Intel Gaudi 2 چیست؟
این خط لوله سفارشی که بر پایه Optimum Habana طراحی شده، فرایند تولید متن را از پیش‌پردازش تا پس‌پردازش به‌صورت کاملاً انتزاعی و یکپارچه انجام می‌دهد. با این کار کاربران می‌توانند مدل‌های Llama 2 در اندازه‌های 7، 13 و 70 میلیارد پارامتر را تنها با چند خط کد اجرا کنند.
روش‌های استفاده از خط لوله
- اجرای اسکریپت آماده run_pipeline.py از مخزن Optimum Habana
- استفاده از کلاس pipeline در اسکریپت‌های پایتون شخصی
- اتصال خط لوله به LangChain برای ساخت برنامه‌های مبتنی بر مدل‌های زبانی
چرا این خبر برای توسعه‌دهندگان هوش مصنوعی مهم است؟
پشتیبانی از شتاب‌دهنده Intel Gaudi 2 گزینه‌های سخت‌افزاری را برای اجرای مدل‌های مولد افزایش می‌دهد و وابستگی به GPUهای رایج را کاهش می‌دهد. این موضوع به دموکراتیک‌شدن دسترسی به هوش مصنوعی کمک می‌کند و طیف وسیع‌تری از توسعه‌دهندگان را قادر می‌سازد تا از فناوری پیشرفته متن‌سازی بهره‌مند شوند.
منبع: وبلاگ Hugging Face
پرسش‌های پرتکرار
آیا خط لوله جدید Hugging Face فقط برای مدل‌های Llama 2 طراحی شده است؟
بر اساس اعلام وبلاگ Hugging Face، این خط لوله سفارشی برای اجرای مدل‌های Llama 2 در سه اندازه 7، 13 و 70 میلیارد پارامتر بهینه شده است و با استفاده از Optimum Habana در دسترس توسعه‌دهندگان قرار می‌گیرد.
برای استفاده از این خط لوله در پروژه‌های خود به چه چیزهایی نیاز داریم؟
علاوه بر دسترسی به شتاب‌دهنده Intel Gaudi 2، باید کتابخانه Optimum Habana و اسکریپت‌های مربوطه را نصب کنید. سپس می‌توانید از اسکریپت run_pipeline.py یا کلاس pipeline در کد پایتون خود استفاده کنید.
