Oossa

Baseten ускорила работу открытых моделей с инструментами и снизила затраты на 62%

Новая функция сокращает расход токенов и ускоряет выполнение задач: агенты для программирования тратят на 62,5% меньше и работают на 26% быстрее.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Baseten сообщила, что ее Model APIs теперь поддерживают отложенную загрузку инструментов для открытых моделей, таких как DeepSeek, Kimi и GLM. Благодаря этому схемы инструментов не включаются в системный промпт, а загружаются только при необходимости. В тестах Claude Code с тремя подключенными плагинами стоимость выполнения задач в бенчмарках для программирования снизилась на 62,5%, а скорость выросла на 26,2%. В агентских бенчмарках затраты сократились примерно на 51%, а время выполнения — на 15%.

Почему это важно

Разработчики могут запускать ИИ-агентов дешевле и быстрее, не меняя модели и код.

Источники и ссылки

1 источников
  1. BasetenЧитать первоисточник

Markdown

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.