Jevstillerは、日常的なJevへの問い合わせに手元のハードウェアで答える、小型のローカルモデルを構築するオープンソースプロジェクトだ。このモデルはJevの回答から学習し、判断に迷う問い合わせだけをJevのクラウドサービスに転送する。開発者によると、よくある問い合わせには約15ミリ秒で回答でき、10億トークンあたり42ドルの料金も回避できるという。また、Jevの回答と98%の割合で一致し、残りの通信は安全性を確保するためクラウドに送るとしている。
システムは、回答の一致率を確認するため、全リクエストのうち一定の2%を継続的にJevと照合する。一致率が下がると、自動で再学習する。
なぜ重要か
Jevをローカルで実行すれば、よくあるタスクのAI利用コストを大幅に抑え、応答も速くできる。