AWSは、基盤モデルのデプロイ用カタログ「Amazon SageMaker JumpStart」に、NVIDIAのNemotron 3.5 Super VLを追加した。このモデルは画像、動画、テキストを入力として受け取り、テキストを生成する。文書分析、動画に関する質問への回答、グラフィカルインターフェースの理解などに利用できる。
最大100万トークンのコンテキスト長に対応する。JumpStartでは、指定のG7インスタンスで推論するためのNVFP4版と、カスタマイズ用のml.p5en.48xlargeインスタンス向けBF16参照ウェイトを提供する。AWSによると、後者はファインチューニングなどの適応手法に対応する。
なぜ重要か
文書や動画を扱うアプリケーションを開発するAWSの顧客は、SageMaker JumpStartを通じてモデルをデプロイできる。特定の分野に合わせた動作が必要な場合は、BF16ウェイトをカスタマイズできる。元記事には料金や性能の比較は記載されていない。
