شرکت نیدیا به‌تازگی مجموعه‌ای از دستورالعمل‌های بهینه‌سازی‌شده برای فریمورک دینامو (Dynamo) معرفی کرده است که به توسعه‌دهندگان امکان می‌دهد چهار مدل متن‌باز پیشرو کره را با کمترین پیچیدگی فنی، به مرحلهٔ تولید برسانند. این اقدام بخشی از تلاش نیدیا برای تسهیل استقرار مدل‌های هوش مصنوعی در مقیاس مراکز داده است.
مدل‌های هدف شامل A.X K2 از SK Telecom، K-EXAONE 2.0 از LG AI Research، Solar Open 2 از Upstage و Motif-3 از Motif Technologies هستند. هر یک از این مدل‌ها در حوزهٔ خاصی از زبان‌های طبیعی یا تولید متن عملکرد بالایی ارائه می‌دهند.
چالش بزرگ: وقتی مدل از یک GPU بیشتر قد می‌کشد
یکی از مهم‌ترین چالش‌های استقرار مدل‌های زبانی بزرگ، فراتر رفتن از ظرفیت تک‌پردازندهٔ گرافیکی است. وقتی اندازهٔ مدل از حافظهٔ یک GPU تجاوز می‌کند، راهی جز تقسیم آن بین چندین کارت وجود ندارد و این تقسیم‌بندی بدون هماهنگی دقیقِ مسیردهی درخواست‌ها و مدیریت ارتباطات، باعث کاهش شدید کارایی می‌شود.
فریمورک دینامو دقیقاً همین مشکل را هدف قرار داده است. این چارچوب متن‌باز و توزیع‌شده برای استقرار مدل‌ها در محیط‌های چندنودی طراحی شده و مسئولیت مسیردهی هوشمند درخواست‌ها و هماهنگی ارتباطی بین کارت‌های گرافیکی را بر عهده دارد تا کارایی استنتاج (Inference) به حداکثر برسد.
کارایی دو برابر با بهینه‌سازی روی GPUهای B200
دستورالعمل‌های منتشرشده بر روی GPUهای NVIDIA B200 بهینه‌سازی شده‌اند. نیدیا اعلام کرده که توسعه‌دهندگان به‌واسطهٔ این دستورالعمل‌ها، می‌توانند بدون نیاز به تنظیمات پیچیدهٔ دستی، حداکثر تا دو برابر کارایی بیشتر از یک راه‌اندازی آماده دریافت کنند.
هدف نهایی این پروژه، تسهیل مسیر مدل‌های متن‌باز کره از مرحلهٔ تحقیق و توسعه به مرحلهٔ تولید واقعی است تا دسترسی به خدمات هوش مصنوعی برای طیف وسیع‌تری از کاربران میسر شود؛ چیزی که نیدیا آن را «هوش مصنوعی برای همه» می‌نامد.
- فریمورک دینامو: چارچوب متن‌باز کتابخانهٔ توزیع‌شدهٔ استنتاج در مقیاس مراکز داده
- مدل‌های پشتیبانی‌شده: A.X K2، K-EXAONE 2.0، Solar Open 2 و Motif-3
- سخت‌افزار بهینه‌سازی‌شده: کارت گرافیک NVIDIA B200
- میزان مزیت عملکردی: تا دو برابر افزایش کارایی خروجی
پرسش‌های پرتکرار
فریمورک دینامو چه نقشی در استقرار مدل‌های هوش مصنوعی دارد؟
دینامو یک چارچوب متن‌باز و توزیع‌شده است که مدیریت مسیردهی درخواست‌ها و هماهنگی ارتباطی بین چندین GPU در محیط‌های چندنودی را برعهده دارد تا مدل‌های بزرگ بدون افت کارایی در مرحلهٔ استنتاج اجرا شوند.
کدام مدل‌های کره‌ای با دستورالعمل‌های جدید نیدیا بهینه‌سازی شده‌اند؟
چهار مدل شامل A.X K2 از SK Telecom، K-EXAONE 2.0 از آزمایشگاه LG AI Research، Solar Open 2 از شرکت Upstage و Motif-3 از Motif Technologies با دستورالعمل‌های بهینه‌شدهٔ دینامو پوشش داده شده‌اند.
