Jevstiller एक ओपन-सोर्स प्रोजेक्ट है, जो आपके अपने हार्डवेयर पर आम Jev क्वेरी के जवाब देने के लिए एक छोटा स्थानीय मॉडल बनाता है। यह मॉडल Jev के जवाबों से सीखता है और जिन अनुरोधों को लेकर उसे भरोसा नहीं होता, उन्हें ही Jev की क्लाउड सेवा पर भेजता है। इसके निर्माताओं का कहना है कि यह आम अनुरोधों का जवाब करीब 15 ms में दे सकता है और प्रति अरब टोकन $42 का शुल्क बचा सकता है। उनका दावा है कि यह टूल 98 % मामलों में Jev के जवाबों से मेल खाता है, जबकि सुरक्षा के लिए बाकी ट्रैफिक क्लाउड पर ही रखा जाता है।
सहमति दर पर नज़र रखने के लिए सिस्टम लगातार 2 % अनुरोधों का Jev के जवाबों से मिलान करता है और दर घटने पर खुद को फिर से प्रशिक्षित करता है।
यह क्यों मायने रखता है
आम कामों के लिए Jev को स्थानीय रूप से चलाने से AI इस्तेमाल की लागत काफी घट सकती है और जवाब तेज़ मिल सकते हैं।
