Jevstiller è un progetto open source che crea un piccolo modello locale per rispondere alle richieste Jev di routine direttamente sul proprio hardware. Il modello locale impara dalle risposte di Jev e inoltra al servizio cloud di Jev solo le richieste su cui è incerto. I suoi creatori affermano che può rispondere alle richieste più comuni in circa 15 ms ed evitare la tariffa di 42 dollari per miliardo di token. Sostengono che lo strumento fornisce risposte identiche a quelle di Jev nel 98% dei casi, mantenendo il resto del traffico nel cloud per ragioni di sicurezza.
Il sistema verifica continuamente con Jev un 2% fisso delle richieste per controllare il tasso di corrispondenza e si riaddestra quando questo cala.
Perché conta
Eseguire Jev in locale può ridurre notevolmente i costi di utilizzo dell’IA e accelerare le risposte alle attività più comuni.
