در دنیای هوش مصنوعی، ترجمه ماشینی یکی از چالش‌برانگیزترین حوزه‌هاست. مدل WMT19 که توسط تیم FAIR فیسبوک توسعه یافته، یکی از بهترین سیستم‌های ترجمه خبری محسوب می‌شود. حالا استس بکمن در یک پست مهمان در وبلاگ Hugging Face روایت می‌کند که چگونه این سیستم به کتابخانه Transformers منتقل شده است. هدف این پروژه چیزی نیست جز پیشبرد و دموکراتیک‌کردن هوش مصنوعی از طریق متن‌باز بودن و علم باز.

چرا انتقال WMT19 به Transformers اهمیت دارد؟

در حالی که مدل‌های ترجمه معمولاً در بسترهای خاصی مانند fairseq توسعه می‌یابند، استفاده از آن‌ها برای عموم جامعه یادگیری عمیق دشوار است. انتقال این مدل به Transformers باعث می‌شود پژوهشگران و توسعه‌دهندگان با یک API یکپارچه و مستندات غنی بتوانند از آن استفاده کنند. این کار بخشی از مأموریت Hugging Face برای دسترسی‌پذیرکردن هوش مصنوعی است.

مراحل پورت کردن سیستم ترجمه

استس بکمن در این مقاله توضیح می‌دهد که این پروژه با پیشنهاد سم شلیفر آغاز شد. او ابتدا مقاله کوتاه «Facebook FAIR's WMT19 News Translation Task Submission» را مطالعه کرد و سپس تصمیم گرفت مدل را به Transformers بیاورد. کار پورت کردن به چند بخش اصلی تقسیم می‌شد:

  • بررسی فایل‌های مدل fairseq و فایل‌های پشتیبان
  • انتقال توکنایزر و رمزگذار/رمزگشای آن
  • تبدیل وزن‌ها و پیکربندی به فرمت Transformers
  • پیاده‌سازی معماری و جاسازی موقعیت سینوسی
  • بارگذاری مدل با AutoConfig و AutoTokenizer و تست دستی

چالش‌های فنی و یادگیری‌های این پروژه

یکی از بخش‌های پیچیده، پورت کردن توکنایزر بود؛ زیرا توکنایزر fairseq رفتار خاصی دارد و برای هماهنگی با Transformers باید تغییر می‌کرد. همچنین بررسی خودکار صحت خروجی‌ها و تطبیق وزن‌ها نیازمند دقت بالایی بود. نویسنده تأکید دارد که مستندسازی فرایند و آزمایش دستی نقش کلیدی در موفقیت پروژه داشته است.

گامی به سوی علم باز

این پورت فقط یک خبر فنی نیست؛ بلکه نمونه‌ای از همکاری جامعه منبع‌باز است. انتشار مدل‌های بزرگ در بسترهای عمومی، پژوهش در ترجمه ماشینی را سرعت می‌بخشد و هزینه استفاده از هوش مصنوعی را برای همه کاهش می‌دهد. اگر به توسعه مدل‌های زبانی علاقه دارید، مطالعه این تجربه می‌تواند درس‌های ارزشمندی درباره مهندسی معکوس و انتقال مدل به شما بدهد.

پرسش‌های پرتکرار

چرا انتقال مدل WMT19 به Transformers اهمیت دارد؟

چون این کار دسترسی به یک سیستم ترجمه باکیفیت را برای پژوهشگران و توسعه‌دهندگان ساده می‌کند و به دموکراتیک‌کردن هوش مصنوعی کمک می‌کند.

مراحل اصلی پورت کردن fairseq به Transformers چه بود؟

فرایند شامل بررسی فایل‌های مدل، تبدیل توکنایزر و وزن‌ها، پیاده‌سازی معماری، بارگذاری مدل و تست دستی بود.