أطلقت إنفيديا Nemotron 3.5 Transcribe، وهو نموذج مفتوح الأوزان يجمع تفريغ الكلام وترجمته وتحديد المتحدثين والإجابة عن الأسئلة المتعلقة بالصوت ضمن نظام واحد. ويمكن للمطورين الحصول عليه من Hugging Face وModelScope، واستخدام مطالبات باللغة الطبيعية لطلب مخرجات مختلفة من التسجيل نفسه، مثل نص مفرّغ مع تحديد المتحدثين أو ترجمة إلى الإنجليزية.
تقول تدوينة Hugging Face إن النموذج يفرّغ الكلام بـ40 لغة، ويترجم من الإنجليزية وإليها بـ31 لغة، ويحدد المتحدثين في 13 لغة، مع إمكانية التعرّف على ما يصل إلى ثمانية متحدثين. كما يدعم الطوابع الزمنية على مستوى الكلمات. وقد دُرّب على الإجابة عن الأسئلة المتعلقة بالصوت باللغة الإنجليزية، وتشير التدوينة إلى تسجيلات تصل مدتها إلى ساعة؛ بينما تقول SiliconANGLE إنه يستطيع معالجة 100 ساعة من الصوت والإجابة عن أسئلة بشأنها. ولا يوضح المصدران ما إذا كان المقصود اختلاف حدود الإدخال أم القدرات.
ماذا تُظهر نتائج الاختبارات المعيارية؟
Nemotron 3.5 نموذج خليط خبراء يضم 30 مليار مُعامِل، ينشط منها نحو 4 مليارات في كل مرة. وتفيد تدوينة إنفيديا على Hugging Face بأنه يتصدر النماذج المفتوحة الأوزان في المسار الإنجليزي من لوحة Hugging Face Open ASR Leaderboard، بمتوسط معدل خطأ كلمات (WER) يبلغ 5.33%؛ وكلما انخفض هذا المعدل، قلّت أخطاء التفريغ. وتذكر التدوينة أيضاً متوسط WER قدره 4.62% عبر سبع لغات، و10.98% في مسار التسجيلات الطويلة، وهي أدنى النتائج بين النماذج المفتوحة الأوزان في المقارنة.
وتورد التدوينة نتائج اختبارات أخرى أيضاً: 2.8% وفق مقياس AA-WER على لوحة تصنيف تحويل الكلام إلى نص من Artificial Analysis، وهي نتيجة تعادل المركز الأول بين النماذج المفتوحة الأوزان، إلى جانب أدنى معدل لأخطاء فصل المتحدثين في معيار David AI الذي يشمل 21 لغة. وتقول إنفيديا إن ضبط النموذج على الكلام الطبي خفّض WER إلى 11.8% في معيار الكلام الطبي الهندي من Eka Care. وتعكس هذه الأرقام أداءه في اختبارات بعينها، ولا تضمن دقته في كل تسجيل.
كيف يمكن للمطورين تكييفه؟
وأطلقت إنفيديا أيضاً Granary v2، وهي مجموعة بيانات متعددة اللغات ومفتوحة للكلام، إلى جانب مسار لتنقيح البيانات وأدوات لضبط النماذج. وتضم المجموعة 843,579 ساعة صوتية موزعة على 48 لغة و19 مجموعة مصادر، مقارنة بنحو 643,000 ساعة عبر 25 لغة في الإصدار السابق. ويمكن للمطورين استخدام البيانات والأدوات لتكييف النموذج مع المصطلحات التخصصية أو اللهجات أو تنسيقات التفريغ المفضلة. وفي دراسة حالة طبية، تقول تدوينة Hugging Face إن الضبط الدقيق خفّض WER بنسبة 45.8% مقارنة بأفضل مطالبة، وذلك لدى متحدثين لم تُستخدم تسجيلاتهم في التدريب.
يعمل النموذج على وحدة معالجة رسومات NVIDIA واحدة، بدءاً من أنظمة Jetson AGX Thor وDGX Spark المكتبية وصولاً إلى أجهزة مراكز البيانات. وتقول إنفيديا إن وحدة Blackwell Server Edition GPU عالجت 100 ساعة من الصوت في أقل من ثلاث دقائق باستخدام إعدادات نموذج مضغوطة؛ وتوضح تدوينة Hugging Face أن الاختبار استخدم مقاطع مدتها 30 ثانية مع معالجة متزامنة بكثافة عالية. وتقول التدوينة إن النموذج مصمم للتسجيلات الصوتية، لا للبث المباشر، وتوصي بمراجعة الأسماء وتغيّر المتحدثين والإجابات بالرجوع إلى التسجيل.
لماذا يهم
يمكن للمطورين الذين ينشئون أدوات للاجتماعات أو الدروس أو الإملاء الطبي تجربة نموذج واحد للتفريغ وتحديد المتحدثين والترجمة، ثم ضبطه ليتعامل مع المصطلحات التخصصية. لكن نتائج الاختبارات المعلنة لا تثبت مدى دقته في تسجيل بعينه، لذا ينبغي للمستخدمين التحقق من الأسماء والإجابات المهمة.
