AWS a ajouté Nemotron 3.5 Super VL de NVIDIA à Amazon SageMaker JumpStart, son catalogue de déploiement de modèles de fondation. Le modèle accepte des images, des vidéos et du texte en entrée et génère du texte. Il peut notamment servir à analyser des documents, à répondre à des questions sur des vidéos et à interpréter des interfaces graphiques.
Il prend en charge des contextes pouvant atteindre 1 million de tokens. JumpStart propose une variante NVFP4 pour l’inférence sur certaines instances G7, ainsi que des poids de référence BF16 sur une instance ml.p5en.48xlarge pour la personnalisation. Selon AWS, cette dernière option permet d’effectuer un réglage fin et d’autres formes d’adaptation.
Pourquoi c'est important
Les clients d’AWS qui développent des applications de traitement de documents ou de vidéos peuvent déployer le modèle via SageMaker JumpStart. Ceux qui ont besoin d’un comportement adapté à leur domaine peuvent personnaliser les poids BF16. L’article ne fournit ni tarifs ni comparaisons de performances.
