OossaИИ быстро развивается. Объясняем просто.

В Ollama 0.35 появилась API для моделей принятия решений

В Ollama 0.35 добавили эндпоинт /v1/systemone для быстрых локальных моделей принятия решений. На старте доступны три модели, включая Nimble 9B и варианты Tev1.

ЗаметкаOossa1 мин чтения

В Ollama 0.35 появилась поддержка API для моделей принятия решений в стиле Jev. Через новый эндпоинт /v1/systemone можно отправить текстовое состояние и набор именованных вопросов, а в ответ получить структурированные данные — всё одним запросом. Сразу доступны три модели: Nimble 9B, Tev1 4B и Tev1 0.8B.

При локальном запуске задержки сети нет; Nimble 9B в среднем принимает решение за 91 мс на MacBook с M5 Max. Модели можно использовать через curl или Python SDK от TypeSafe.

Почему это важно

Локальные модели принятия решений позволяют мгновенно и с низкими затратами классифицировать данные для таких задач, как распределение тикетов или модерация контента.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.

Источники и ссылки

1 источников

Обновлено: ·Markdown·llms.txt