NVIDIAは、音声の文字起こし、翻訳、話者の識別、音声に関する質問への回答を1つのシステムで行えるオープンウェイトモデル「Nemotron 3.5 Transcribe」を公開しました。開発者はHugging FaceとModelScopeから入手でき、自然言語のプロンプトを使って、話者ラベル付きの文字起こしや英語への翻訳など、同じ録音から異なる形式の出力を求められます。
Hugging Faceの投稿によると、このモデルは40言語の文字起こしに対応し、31言語と英語との間で翻訳できます。また、13言語で話者を識別でき、最大8人まで判別します。単語単位のタイムスタンプにも対応しています。音声に関する質問への回答機能は英語で学習されており、同投稿では最長1時間の録音に対応すると説明されています。一方、SiliconANGLEは、100時間の音声を処理し、内容について質問に答えられると報じています。2つの説明が異なる入力時間の上限を指すのか、機能の違いを示すのかは明らかにされていません。
ベンチマーク結果は何を示している？
Nemotron 3.5は、30億ではなく300億のパラメーターを持つMixture of Experts（MoE）モデルで、1回の処理で有効になるのは約40億パラメーターです。NVIDIAのHugging Face投稿によると、Hugging Face Open ASR Leaderboardの英語部門で、オープンウェイトモデルの中で1位となり、単語誤り率（WER）の平均は5.33%でした。WERは低いほど文字起こしの誤りが少ないことを示します。同投稿は、7言語での平均WERが4.62%、長時間音声部門では10.98%で、比較対象のオープンウェイトモデルの中で最も低い結果だったとも報告しています。
同投稿では、ほかの評価結果も紹介されています。Artificial Analysisの音声テキスト変換リーダーボードではAA-WERが2.8%で、オープンウェイトモデルの中で同率1位。David AIの21言語ベンチマークでは、話者分離誤り率が最も低かったとしています。またNVIDIAによると、医療音声向けにファインチューニングしたところ、Eka Careのインド医療音声ベンチマークでWERは11.8%になりました。これらの数値は特定のテストでの結果であり、すべての録音で同等の精度を保証するものではありません。
開発者はどう調整できる？
NVIDIAはファインチューニング用ツールとともに、オープンな多言語音声データセット兼データ整備パイプライン「Granary v2」も公開しました。48言語、19のデータソースからなる843,579時間分のデータを収録しており、前バージョンの約643,000時間、25言語から拡大しています。開発者はこのデータとツールを使い、専門用語やアクセント、希望する文字起こし形式に合わせてモデルを調整できます。医療分野の事例について、Hugging Faceの投稿は、学習に使っていない話者の音声で、最良のプロンプトを使った場合と比べてファインチューニングによりWERが45.8%低下したと説明しています。
このモデルは、Jetson AGX Thorやデスクトップ型のDGX Sparkからデータセンター向けハードウェアまで、単一のNVIDIA GPUで動作します。NVIDIAによると、Blackwell Server Edition GPUは、圧縮モデル設定を使って100時間分の音声を3分未満で処理しました。Hugging Faceの投稿では、このテストは同時実行数を高く設定し、30秒の音声クリップを使ったと補足しています。同投稿によると、このモデルは録音済み音声向けに設計されており、ライブ配信には対応していません。人名や話者の切り替わり、回答内容は録音を聞いて確認するよう推奨しています。
なぜ重要か
会議や授業、医療のディクテーション向けツールを開発する人は、文字起こし、話者の識別、翻訳を1つのモデルで試し、専門用語に合わせて調整できます。ただし、報告されたベンチマーク結果から個々の録音での精度が分かるわけではないため、重要な人名や回答は引き続き確認が必要です。
