Ollama 0.35 artık Jev tarzı karar modeli API’sini destekliyor. Kullanıcılar yeni /v1/systemone uç noktasını çağırarak bir metin durumu ve adlandırılmış sorular kümesi gönderebiliyor, yapılandırılmış yanıtları da tek bir istekte alabiliyor. İlk etapta üç model kullanıma sunuluyor: Nimble 9B, Tev1 4B ve Tev1 0.8B.
Yerel çalıştırma, ağ gecikmesini ortadan kaldırıyor. Nimble 9B, M5 Max işlemcili bir MacBook’ta karar başına ortalama 91 ms’de çalışıyor. Modeller curl veya TypeSafe’in Python SDK’siyle kullanılabiliyor.
Neden önemli
Yerel karar modelleri, bilet yönlendirme veya içerik denetimi gibi görevlerde anında ve düşük maliyetli sınıflandırma olanağı sağlıyor.
