پلتفرم متن‌باز Hugging Face با انتشار قابلیتی جدید در کتابخانه smolagents، گامی مهم در جهت ارتقای عوامل هوش مصنوعی برداشته است. این به‌روزرسانی که در ژانویه ۲۰۲۵ منتشر شد، پشتیبانی از مدل‌های زبانی بینایی (VLM) را به این ابزار اضافه می‌کند و به عوامل هوش مصنوعی اجازه می‌دهد تا دنیای بصری وب را درک کنند.
چرا دید برای عوامل هوش مصنوعی حیاتی است؟
در دنیای عوامل هوشمند، بسیاری از قابلیت‌ها پشت دیوار بینایی پنهان شده‌اند. صفحات وب مملو از محتوای بصری هستند که با استخراج ساده متن، هرگز به‌طور کامل قابل بازسازی نیستند. موقعیت نسبی عناصر، پیام‌های رنگی، آیکون‌های خاص و چیدمان بصری، اطلاعاتی هستند که تنها از طریق دید قابل درک‌اند. به همین دلیل، دید برای عوامل هوش مصنوعی یک ابرقدرت واقعی محسوب می‌شود.
چگونه به smolagents بینایی دادیم؟
تیم Hugging Face با افزودن پشتیبانی از مدل‌های زبانی بینایی به smolagents، این امکان را فراهم کرده است که عوامل هوش مصنوعی بتوانند به‌صورت بومی از تصاویر در فرآیندهای عامل‌محور استفاده کنند. این قابلیت نه‌تنها درک بصری را به عوامل می‌بخشد، بلکه آن‌ها را قادر می‌سازد تا در محیط‌های پیچیده مانند وب، تصمیم‌گیری‌های هوشمندانه‌تری بگیرند.
نمونه کاربرد: مرورگر عامل‌محور با دید
یکی از کاربردهای برجسته این قابلیت، ساخت مرورگرهای عامل‌محور (Agentic Browser) است که می‌توانند به‌طور کامل خودمختار در وب حرکت کنند. این مرورگرها با درک بصری صفحات، می‌توانند لینک‌ها را تشخیص دهند، فرم‌ها را پر کنند و محتوای چندرسانه‌ای را تفسیر کنند. نمونه اولیه این قابلیت در وبلاگ رسمی Hugging Face به نمایش گذاشته شده است.
امکانات کلیدی نسخه جدید
- پشتیبانی بومی از مدل‌های زبانی بینایی (VLM) در خطوط لوله عامل‌محور
- توانایی درک چیدمان بصری صفحات وب و عناصر گرافیکی
- ساخت مرورگرهای وب خودمختار با استفاده از smolagents
- یکپارچه‌سازی آسان با اکوسیستم‌های موجود Hugging Face
گام‌های بعدی
با این به‌روزرسانی، فصل تازه‌ای در تعامل عوامل هوش مصنوعی با محیط بصری آغاز شده است. تیم توسعه‌دهنده قصد دارد در آینده قابلیت‌های بیشتری را برای بهره‌گیری از بینایی در سناریوهای مختلف اضافه کند و همچنان به دموکراتیزه کردن هوش مصنوعی از طریق متن‌باز بودن ادامه دهد.
پرسش‌های پرتکرار
قابلیت جدید smolagents چیست؟
قابلیت جدید smolagents پشتیبانی از مدل‌های زبانی بینایی (VLM) است که به عوامل هوش مصنوعی امکان درک محتوای بصری صفحات وب و تعامل بهتر با محیط را می‌دهد.
مدل‌های زبانی بینایی چگونه به مرورگر خودمختار کمک می‌کنند؟
این مدل‌ها به مرورگر خودمختار اجازه می‌دهند تا چیدمان، آیکون‌ها و پیام‌های رنگی صفحات وب را درک کند و بدون نیاز به استخراج ساده متن، به‌طور خودکار در وب حرکت و اقدام کند.
