Jevstiller 是一个开源项目,可在你自己的设备上构建一个微型本地模型,用来回答日常 Jev 查询。这个本地模型从 Jev 的回复中学习,只会将无法确定的请求转发给 Jev 云服务。开发者表示,它能在约 15 毫秒内回答熟悉的查询,并避免每十亿个 token 42 美元的费用。他们称,该工具给出的答案与 Jev 一致的比例达 98%,其余请求则留在云端处理,以确保安全。
系统会持续抽取固定比例(2%)的请求与 Jev 的结果进行比对,以监控答案一致率;如果一致率下降,系统就会自行重新训练。
为什么重要
在本地运行 Jev,能大幅降低常见任务的 AI 使用成本,并加快响应速度。