تاکنون تکنیک Direct Preference Optimization یا همان DPO بیشتر با چت‌بات‌ها و هم‌سوسازی پاسخ‌های گفت‌وگومحور شناخته می‌شد؛ اما تیم Dharma-AI در مقاله‌ای تازه که در وبلاگ Hugging Face منتشر کرده نشان می‌دهد این روش می‌تواند در حوزه‌هایی مانند استخراج ساختاریافته اسناد و OCR نیز کارایی چشمگیری داشته باشد. این مقاله با عنوان «Direct Preference Optimization Beyond Chatbots» نگاه جدیدی به بهینه‌سازی مدل‌های زبانی-دیداری دارد و نقش DPO را فراتر از چت‌بات‌ها بررسی می‌کند.

مشکل چرخه‌های تکراری در مدل‌های OCR چیست؟

یکی از چالش‌های اصلی مدل‌های بینایی-زبانی در وظایف OCR، تولید خروجی‌های تکراری یا به اصطلاح «تخریب متن» است. نرخ تخریب متن (Text Degeneration Rate) نشان می‌دهد که یک مدل چند وقت یک بار به جای رونویسی صحیح، یک حلقه تکرار ایجاد می‌کند. این مشکل در مدل‌های متن‌باز و تجاری دیده می‌شود و می‌تواند کیفیت استخراج اطلاعات از اسناد را به شدت کاهش دهد.

راهکار Dharma-AI: جفت‌های رد شده از شکست‌های خود مدل

تیم Dharma-AI هنگام توسعه مدل اختصاصی خود به نام DharmaOCR که در ماه آوریل منتشر شد، با همین چالش مواجه شد. آن‌ها برای حل این مشکل از یک تصمیم طراحی هوشمندانه استفاده کردند: خروجی‌های تخریب‌شده و چرخه‌های تکراری تولیدشده توسط خود مدل را به‌عنوان «جفت‌های رد شده» در نظر گرفتند. این جفت‌ها در کنار خروجی‌های صحیح، داده‌های آموزشی مناسبی برای روش DPO فراهم می‌کنند تا مدل یاد بگیرد رفتار نامطلوب را کنار بگذارد. نکته مهم این است که این رویکرد حتی پس از تنظیم دقیق نظارت‌شده (SFT) نیز کارایی خود را حفظ می‌کند، در حالی که SFT به‌تنهایی معمولاً نمی‌تواند نرخ تخریب را به سطح قابل‌قبول تولید برساند.

نتایج منتشرشده روی پنج خانواده مدل

در این پژوهش، خانواده‌های مختلفی از مدل‌های منبع‌باز و تجاری روی وظیفه استخراج ساختاریافته اسناد با متن پرتغالی برزیل ارزیابی شدند. نتایج نشان داد:

  • نرخ تخریب متن در مدل‌های منبع‌باز از کمتر از ۱٪ تا بیش از ۳۳٪ متغیر بود.
  • تنظیم دقیق نظارت‌شده برای بیشتر مدل‌ها نرخ تخریب را کاهش داد، اما به‌ندرت به سطح مطلوب برای تولید رساند.
  • استفاده از جفت‌های رد شده با روش DPO در پنج خانواده مدل، نتیجه‌ای پایدار و تکرارپذیر به همراه داشت.
  • این الگو فقط به متون OCR محدود نیست و از منابع مختلف ورودی قابل مشاهده است.

این یافته‌ها نشان می‌دهد که DPO می‌تواند به ابزاری کلیدی برای بهبود کیفیت مدل‌های تخصصی تبدیل شود و کاربرد آن فراتر از چت‌بات‌ها، در حوزه‌هایی مانند OCR و استخراج داده‌های ساختاریافته نیز اثربخش باشد. مقاله کامل این پژوهش در اختیار عموم قرار دارد و مدل DharmaOCR نیز بر روی Hugging Face منتشر شده است.

پرسش‌های پرتکرار

Direct Preference Optimization (DPO) چگونه به کاهش نرخ تخریب متن در مدل‌های OCR کمک می‌کند؟

در روش پیشنهادی Dharma-AI، خروجی‌های تخریب‌شده یا چرخه‌های تکراری تولیدشده توسط خود مدل به‌عنوان نمونه‌های «رد شده» در نظر گرفته می‌شوند و با استفاده از DPO، مدل یاد می‌گیرد این خروجی‌های نامطلوب را کنار بگذارد. این کار باعث می‌شود مدل‌های OCR پس از تنظیم دقیق، کمتر دچار تکرار حلقه‌وار شوند.

نرخ تخریب متن در مدل‌های متن‌باز چقدر بود و آیا تنظیم دقیق نظارت‌شده (SFT) مشکل را حل کرد؟

در معیار منتشرشده، نرخ تخریب متن در خانواده‌های مدل متن‌باز از کمتر از ۱٪ تا بیش از ۳۳٪ متغیر بود. تنظیم دقیق نظارت‌شده توانست این نرخ را برای بیشتر مدل‌ها کاهش دهد، اما در بیشتر موارد آن را به سطح قابل‌قبول تولید نمی‌رساند.