Ollama 0.35 ondersteunt nu de API voor Jev-achtige beslismodellen. Gebruikers kunnen het nieuwe endpoint /v1/systemone aanroepen, een tekstuele toestand en een reeks benoemde vragen versturen en in één verzoek gestructureerde antwoorden ontvangen. Er zijn meteen drie modellen beschikbaar: Nimble 9B, Tev1 4B en Tev1 0.8B.
Lokaal draaien voorkomt netwerklatentie. Nimble 9B neemt op een MacBook met M5 Max gemiddeld 91 ms per beslissing. De modellen werken met curl of de Python-SDK van TypeSafe.
Waarom het ertoe doet
Lokale beslismodellen bieden directe classificaties tegen lage kosten voor taken zoals het routeren van tickets of contentmoderatie.
