Ollama 0.35では、高速なローカル判断モデル向けの「/v1/systemone」エンドポイントを導入。Nimble 9BとTev1の派生モデルを含む3モデルで提供を開始した。
短信Oossa1 分で読める
Ollama 0.35が、Jev風の判断モデルAPIに対応した。新しい「/v1/systemone」エンドポイントにテキスト形式の状態と名前付きの質問セットを送ると、1回のリクエストで構造化された回答を得られる。利用できるモデルは、Nimble 9B、Tev1 4B、Tev1 0.8Bの3つ。
ローカルで実行すればネットワーク遅延をなくせる。M5 Max搭載MacBookでは、Nimble 9Bの判断1回あたりの平均処理時間は91ミリ秒。モデルはcurlまたはTypeSafeのPython SDKで利用できる。
ローカル判断モデルを使えば、チケットの振り分けやコンテンツモデレーションなどの分類を、低コストかつ即座に実行できる。
モデル
OpenAIの新モデルGPT‑6.1 Solは、100万トークンあたり2～10ドルの料金を据え置きながら性能向上をうたい、AnthropicのClaudeやDeepSeekのモデルを下回る価格を打ち出した。
モデル
新モデルv4とv4 Turboの料金は、1,000文字あたりそれぞれ0.08ドル、0.04ドル。10月12日までは0.022ドル、0.011ドルに割引される。
モデル
Oracleの新しいFusion Clawランタイムにより、Fusionアプリは人員配置や会計など複数段階の業務を処理できる。AIが推論を担い、計算はモデルの外部で行う。
Oossa · ニュースレター
今週のAIを、わかりやすく
毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。
