انویدیا Nemotron 3.5 Transcribe را منتشر کرده است؛ مدلی با وزن‌های باز که پیاده‌سازی گفتار، ترجمه، برچسب‌گذاری گویندگان و پاسخ‌گویی به پرسش‌های صوتی را در یک سامانه ترکیب می‌کند. توسعه‌دهندگان می‌توانند آن را از Hugging Face و ModelScope دریافت کنند و با دستورهای زبان طبیعی، خروجی‌های مختلفی از یک ضبط بخواهند؛ مثلاً متن پیاده‌شده همراه با برچسب گویندگان یا ترجمه‌ای به انگلیسی.
در پست Hugging Face آمده است که مدل گفتار را در 40 زبان پیاده‌سازی می‌کند، 31 زبان را از انگلیسی یا به انگلیسی ترجمه می‌کند و در 13 زبان گویندگان را برچسب‌گذاری می‌کند؛ همچنین می‌تواند تا هشت گوینده را تشخیص دهد. مدل از درج زمان‌بندی در سطح واژه نیز پشتیبانی می‌کند. آموزش پاسخ‌گویی به پرسش‌های صوتی به زبان انگلیسی انجام شده و در این پست به ضبط‌هایی تا یک ساعت اشاره شده است؛ SiliconANGLE می‌گوید مدل می‌تواند 100 ساعت صوت را پردازش کند و به پرسش‌هایی درباره آن پاسخ دهد. این دو گزارش روشن نمی‌کنند که منظورشان محدودیت‌های ورودی یا قابلیت‌های متفاوت است یا نه.
نتایج بنچمارک چه نشان می‌دهند؟
Nemotron 3.5 مدلی با 30 میلیارد پارامتر و معماری ترکیبی متخصصان است که در هر زمان حدود 4 میلیارد پارامتر آن فعال است. طبق پست انویدیا در Hugging Face، این مدل در میان مدل‌های دارای وزن باز، در بخش انگلیسی Hugging Face Open ASR Leaderboard رتبه نخست را دارد و میانگین نرخ خطای واژه‌ای (WER) آن 5.33% است؛ WER کمتر به معنای خطاهای کمتر در پیاده‌سازی گفتار است. این پست همچنین میانگین WER برابر با 4.62% را در هفت زبان و WER برابر با 10.98% را در بخش گفتار بلندمدت گزارش می‌کند؛ هر دو، کمترین نتیجه در مقایسه مدل‌های دارای وزن باز بوده‌اند.
در این پست نتایج ارزیابی‌های دیگری هم آمده است: 2.8% AA-WER در جدول رتبه‌بندی تبدیل گفتار به متن Artificial Analysis که با مدل‌های دارای وزن باز دیگر در رتبه نخست مشترک است، و کمترین نرخ خطای تفکیک گویندگان در بنچمارک 21زبانه David AI. انویدیا می‌گوید با تنظیم دقیق مدل برای گفتار پزشکی، WER آن در بنچمارک گفتار پزشکی هندِ Eka Care به 11.8% رسیده است. این ارقام به آزمون‌های مشخص مربوط‌اند و دقت مدل را برای همه ضبط‌ها تضمین نمی‌کنند.
توسعه‌دهندگان چطور می‌توانند آن را با نیازهایشان تطبیق دهند؟
انویدیا در کنار ابزارهای تنظیم دقیق، Granary v2 را هم منتشر کرده است؛ مجموعه‌داده گفتاری چندزبانه با دسترسی باز و خط لوله‌ای برای پالایش داده‌ها. این مجموعه 843,579 ساعت داده را در 48 زبان و از 19 منبع در بر می‌گیرد؛ نسخه پیشین حدود 643,000 ساعت داده در 25 زبان داشت. توسعه‌دهندگان می‌توانند از داده‌ها و ابزارها برای سازگار کردن مدل با واژگان تخصصی، لهجه‌ها یا قالب‌های دلخواه پیاده‌سازی متن استفاده کنند. در یک مطالعه موردی پزشکی، طبق پست Hugging Face، تنظیم دقیق مدل WER را برای گویندگانی که در داده‌های آموزشی حضور نداشتند، در مقایسه با بهترین دستور، 45.8% کاهش داد.
این مدل روی یک GPU انویدیا اجرا می‌شود؛ از سامانه‌های Jetson AGX Thor و دسکتاپ DGX Spark گرفته تا سخت‌افزار مراکز داده. انویدیا می‌گوید یک GPU از Blackwell Server Edition با تنظیمات فشرده‌سازی مدل، 100 ساعت صوت را در کمتر از سه دقیقه پردازش کرد؛ در پست Hugging Face مشخص شده که این آزمون با قطعه‌های 30ثانیه‌ای و هم‌زمانی بالا انجام شده است. طبق این پست، مدل برای صدای ضبط‌شده طراحی شده، نه پخش زنده، و توصیه می‌شود نام‌ها، جابه‌جایی گویندگان و پاسخ‌ها با خود ضبط بررسی شوند.
چرا مهم است
توسعه‌دهندگانی که ابزارهایی برای جلسات، کلاس‌ها یا دیکته پزشکی می‌سازند، می‌توانند مدلی را برای پیاده‌سازی متن، برچسب‌گذاری گویندگان و ترجمه امتحان کنند و سپس آن را با اصطلاحات تخصصی تنظیم کنند. نتایج بنچمارک‌های گزارش‌شده نشان نمی‌دهند مدل روی یک ضبط مشخص چقدر دقیق خواهد بود؛ بنابراین کاربران همچنان باید نام‌ها و پاسخ‌های مهم را بررسی کنند.
