Ollama 0.35 unterstützt jetzt die Jev-ähnliche Entscheidungsmodell-API. Über den neuen Endpunkt /v1/systemone können Nutzer einen Textzustand und eine Reihe benannter Fragen senden und erhalten strukturierte Antworten in einer einzigen Anfrage. Sofort verfügbar sind drei Modelle: Nimble 9B, Tev1 4B und Tev1 0.8B.
Der lokale Betrieb vermeidet Netzwerklatenz. Nimble 9B benötigt auf einem MacBook mit M5 Max durchschnittlich 91 ms pro Entscheidung. Die Modelle funktionieren mit curl oder dem Python-SDK von TypeSafe.
Warum es wichtig ist
Lokale Entscheidungsmodelle ermöglichen sofortige und kostengünstige Klassifizierungen für Aufgaben wie die Weiterleitung von Support-Tickets oder die Moderation von Inhalten.
