Ollama 0.35 har nu stöd för API:et för Jev-liknande beslutsmodeller. Med den nya endpointen /v1/systemone kan användare skicka in ett textbaserat tillstånd och en uppsättning namngivna frågor och få strukturerade svar i en enda begäran. Tre modeller finns tillgängliga direkt: Nimble 9B, Tev1 4B och Tev1 0.8B.
Lokal körning eliminerar nätverksfördröjningar. Nimble 9B har i genomsnitt en beslutstid på 91 ms på en MacBook med M5 Max. Modellerna fungerar med curl eller TypeSafes Python-SDK.
Varför det spelar roll
Lokala beslutsmodeller ger omedelbara klassificeringar till låg kostnad för uppgifter som ärenderoutning eller innehållsmoderering.
