Oossa

بایدو مدل OCR متن‌باز برای اسناد بسیار طولانی منتشر کرد

بایدو می‌گوید Unlimited OCR 2، مدلی با ۳ میلیارد پارامتر، می‌تواند در یک درخواست اسنادی چندصدصفحه‌ای را پردازش کند. این مدل با مجوز MIT منتشر شده است.

نویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

Annie Spratt · Unsplash

بایدو در ۲۷ اکتبر ۲۰۲۶ مدل متن‌باز Unlimited OCR 2 را منتشر کرد؛ مدلی برای بازشناسی نوری نویسه‌ها (OCR) که می‌تواند در یک درخواست اسنادی چندصدصفحه‌ای را بخواند. این مدل ۳ میلیارد پارامتر دارد و با مجوز MIT عرضه شده است. مخزن گیت‌هاب بایدو نیز دستورالعمل اجرای آن با Transformers یا SGLang را ارائه می‌کند.

بر اساس توضیحات مخزن، مدل از روش Sparse Reference Sliding Window Attention یا SR-SWA استفاده می‌کند. در این روش، به‌جای آنکه محاسبات توجه متناسب با طول کامل سند افزایش یابد، مجموعه‌ای ثابت از ارجاع‌ها حفظ می‌شود؛ بایدو برای نمونه به ۵۱۲ توکن اشاره کرده است. بایدو می‌گوید این روش باعث می‌شود زمان رمزگشایی و مصرف حافظه با طولانی‌تر شدن اسناد تقریباً ثابت بماند. این‌ها ادعاهای شرکت‌اند و در اطلاعات ارائه‌شده، اندازه‌گیری مستقلی برای تأییدشان وجود ندارد.

بایدو می‌گوید Unlimited OCR 2 در بنچمارک MarathonDocBench، که برای اسناد حدوداً صدصفحه‌ای طراحی شده، امتیاز ۷۷٫۱ کسب کرده است. MarkTechPost نیز این امتیاز را گزارش می‌کند، اما جزئیات موجود نسخه بنچمارک، تنظیمات آزمون یا مدل‌های مقایسه‌شده را مشخص نمی‌کنند. بایدو می‌گوید این مدل در MarathonDocBench و MPDocBench پیشرفته‌ترین عملکرد را دارد؛ بااین‌حال، اطلاعات ارائه‌شده در مخزن برای این مقایسه‌ها امتیازی ذکر نمی‌کند.

چطور می‌توان از آن استفاده کرد؟

بایدو اجرای استنباط روی چند صفحه را با Transformers مستند کرده و SGLang را برای ارائه سرویس پیشنهاد می‌کند. نمونه کد Transformers این شرکت با Python 3.10 و کارت NVIDIA A800 با 80GB حافظه آزمایش شده است. این فقط محیط آزمایش است و به‌عنوان حداقل سخت‌افزار موردنیاز اعلام نشده است.

مخزن همچنین گزینه‌ای برای پردازش سند بلند در گروه‌های کوچک‌تر صفحه با SGLang معرفی می‌کند. بایدو هشدار می‌دهد که پنجره‌های کوچک‌تر اوج مصرف حافظه را کاهش می‌دهند، اما ممکن است پیوند دادن محتوایی را که از مرز یک پنجره به پنجره بعدی ادامه پیدا می‌کند دشوارتر کنند. بنابراین، توانایی مدل در دریافت تعداد زیادی صفحه در یک درخواست به این معنا نیست که هر سامانه‌ای می‌تواند هر سندی را بدون محدودیت پردازش کند؛ سخت‌افزار و تنظیمات ارائه سرویس همچنان اهمیت دارند.

چرا مهم است

برای سازمان‌هایی که گزارش‌ها یا پرونده‌های طولانی را دیجیتالی می‌کنند، پردازش در یک درخواست می‌تواند به مدل امکان دهد از اطلاعات صفحات مختلف استفاده کند، به‌جای آنکه هر صفحه را جداگانه به‌عنوان یک کار OCR پردازش کند. بایدو این مدل را با مجوز MIT و به‌صورت متن‌باز منتشر کرده، اما اطلاعات ارائه‌شده نشان نمی‌دهد که عملکرد آن روی اسناد یک سازمان خاص چقدر دقیق است یا بار کاری آن به چه سخت‌افزاری نیاز دارد.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.