Ollama 0.35 अब Jev-शैली के डिसीजन मॉडल API को सपोर्ट करता है। यूज़र नए /v1/systemone एंडपॉइंट पर टेक्स्ट स्टेट और नाम वाले सवालों का एक सेट भेजकर एक ही अनुरोध में व्यवस्थित जवाब पा सकते हैं। शुरुआत में तीन मॉडल उपलब्ध हैं: Nimble 9B, Tev1 4B और Tev1 0.8B।
लोकल तौर पर चलाने से नेटवर्क की देरी नहीं होती; M5 Max MacBook पर Nimble 9B हर डिसीजन में औसतन 91 ms लेता है। ये मॉडल curl या TypeSafe के Python SDK के साथ काम करते हैं।
यह क्यों मायने रखता है
लोकल डिसीजन मॉडल टिकटों को सही जगह भेजने या कंटेंट मॉडरेशन जैसे कामों के लिए तुरंत और कम लागत में वर्गीकरण करते हैं।