OossaAIは急速に進化しています。私たちがわかりやすく解説します。

オープンソースのJevstiller、Jevのクエリをローカル実行

このコミュニティ製ツールは、よくあるJevへの問い合わせに対応する小型のオンデバイスモデルを作成し、トークン費用と遅延を削減する。

短信Oossa1 分で読める

Jevstillerは、日常的なJevへの問い合わせに手元のハードウェアで答える、小型のローカルモデルを構築するオープンソースプロジェクトだ。このモデルはJevの回答から学習し、判断に迷う問い合わせだけをJevのクラウドサービスに転送する。開発者によると、よくある問い合わせには約15ミリ秒で回答でき、10億トークンあたり42ドルの料金も回避できるという。また、Jevの回答と98%の割合で一致し、残りの通信は安全性を確保するためクラウドに送るとしている。

システムは、回答の一致率を確認するため、全リクエストのうち一定の2%を継続的にJevと照合する。一致率が下がると、自動で再学習する。

なぜ重要か

Jevをローカルで実行すれば、よくあるタスクのAI利用コストを大幅に抑え、応答も速くできる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。

出典と参考資料

#出典媒体日付要点
1Open source tool distills Jev so you can run it locally ↗The Register2026/09/29Jevstiller targets 98% agreement by learning familiar requests on your hardware while sending uncertain and audited queries upstream

1 件の出典

最終更新: ·Markdown·llms.txt