Ollama 0.35 prend désormais en charge l’API de modèles de décision de type Jev. Les utilisateurs peuvent appeler le nouveau point de terminaison /v1/systemone, lui transmettre un état sous forme de texte et un ensemble de questions nommées, puis obtenir des réponses structurées en une seule requête. Trois modèles sont disponibles dès maintenant : Nimble 9B, Tev1 4B et Tev1 0.8B.
L’exécution en local élimine la latence réseau. Sur un MacBook M5 Max, Nimble 9B prend en moyenne 91 ms par décision. Les modèles sont compatibles avec curl et le SDK Python de TypeSafe.
Pourquoi c'est important
Les modèles de décision locaux permettent d’effectuer instantanément et à moindre coût des classifications pour des tâches comme l’acheminement des tickets ou la modération de contenu.
