Jevstiller — проект с открытым исходным кодом, который создаёт небольшую локальную модель для ответов на типовые запросы к Jev прямо на вашем устройстве. Модель обучается на ответах Jev и передаёт в облачный сервис Jev только запросы, в которых не уверена. По словам создателей, на знакомые запросы она отвечает примерно за 15 мс и позволяет избежать платы в размере $42 за миллиард токенов. Они утверждают, что в 98 % случаев инструмент выдаёт ответы, совпадающие с ответами Jev, а остальные запросы для безопасности обрабатываются в облаке.
Система постоянно сверяет с Jev фиксированные 2 % запросов, чтобы контролировать долю совпадений, и переобучается, если она снижается.
Почему это важно
Локальная работа с Jev может существенно сократить расходы на использование ИИ и ускорить ответы на типовые запросы.
