سخت‌افزار
AMD EPYC نسل پنجم: دو برابر سرعت LLM و شتاب AI با Zen5
AMD نسل پنجم EPYC را به بازار معرفی کرد؛ با معماری Zen5 و حداکثر 192 هسته، سرعت اجرای مدل‌های زبانی دو برابر می‌شود و شتاب AI در سرورها افزایش می‌یابد.
پژوهش
هوش مصنوعی با مدل Falcon Mamba: نخستین 7B بدون دقت متن کامل
مدلی نوآورانه و بدون دقت (attention‑free) با 7 میلیارد پارامتر، Falcon Mamba را که توسط تیم نوآوری تکنولوژی در ابوظبی پردازش کرده‌ایم، در همین هفته معرفی می‌کنیم و کاربردهای آن را بررسی می‌کنیم.
پژوهش
هوش مصنوعی مبتنی بر کد: رقیب GAIA را شکست داد و آینده را بازکرد
کود-عامل هیپینگ فیس، با بهره‌گیری از معماری Transformer و کتابخانه smolagents، بر چالش GAIA بعنوان تمام‌سری‌ترین معیارهای هوش مصنوعی ایستاد و اولین جایزه را به دست آورد. این دستاورد به سوی توسعهٔ هوش نمایی هوشمندانه افتاد.
پژوهش
DeepSpeed و FSDP: با یکدیگر در پشتیبان هوش مصنوعی Hugging Face
دستگاه‌های DeepSpeed و FSDP در Hugging Face به‌صورت متناظر در پردازش داده‌های هوش مصنوعی به کار گرفته می‌شوند؛ مقاله این‌بار تفاوت‌های میان دو معماری و بهینه‌سازی در بحث توان‌مندسازی مدل‌ها را بررسی می‌کند.
مدل‌ها
معماری RWKV؛ ترکیب هوش مصنوعی بازگشتی با توانمندی ترنسفورمر
معماری RWKV با ادغام شبکه‌های بازگشتی (RNN) و ترنسفورمر، راهکاری نوین و کارآمد برای مدل‌های زبانی بزرگ ارائه می‌دهد. در این مقاله به بررسی ویژگی‌ها، کاربردها و آینده آن می‌پردازیم.
پژوهش
هوش مصنوعی: کشف جزئیات نظام‌های پشت‌زمینه در OpenAI
مقاله‌ای جامع در مورد معماری‌های بک‌اند OpenAI است، که به نقش مهندسین سوپرکامپیوتر و تکنیک‌های بهینه‌سازی در سکوهای توزیع‌شده می‌پردازد. نکات کلیدی در مدیریت حافظه، مسیریابی و مقیاس‌پذیری بررسی می‌شود.
پژوهش
چگونه مدل 176B پارامتر BLOOM با استفاده از تکنیک‌های پیشرفته آموزش یافت
BLOOM، مدل زبان ۱۷۶ میلیارد پارامتر، با ترکیبی از معماری Megatron‑DeepSpeed و تکنیک‌های دروازه داده‌ای، توزیعی و حافظه‑بهینه آموزش یافت؛ دقت و سرعت حداکثری را در محیط‌های منابع محدود ارائه می‌دهد.
پژوهش
هوش مصنوعی در عصر کد: چرا یادگیری ماشین به عنوان کد تبدیل شد
هوش مصنوعی در عصر کد: اهمیت متن‌باز، پیشرفت ترنسفورمر و تأثیراتشان بر کسب‌وکارها را بررسی می‌کنیم؛ این دیدار معماری و تحولات اخیر را به‌صورت جامع دربردارد.
مدل‌ها
مدل‌های Encoder-Decoder مبتنی بر ترنسفورمر؛ چگونه هوش مصنوعی متن می‌فهمد؟
در این مقاله به بررسی عمیق معماری ترنسفورمری Encoder-Decoder می‌پردازیم؛ مدلی که پایه‌گذار نسل جدید سیستم‌های هوش مصنوعی در پردازش زبان طبیعی و تولید محتوا است.
پژوهش
هوش مصنوعی درک عمیق‌تر: محدودیت‌ها و امکانات Neural GPU
مدل Neural GPU، یک معماری کنولوشنال هوش مصنوعی است که می‌تواند الگوریتم‌های پایه را یاد بگیرد و گسترش یابد؛ اما محدودیت‌های عملیاتی و مقیاس‌پذیری همچنان چالش برانگیز باقی مانده‌اند.