IBM и её партнёры представили версию 1.0 фреймворка с открытым исходным кодом llm‑d 20 октября 2026 года на конференции PyTorch. В обновлении появились средства контроля качества обслуживания, обновления без простоя и более интеллектуальная маршрутизация с учётом кеша. Они позволяют компаниям запускать большие языковые модели в собственных кластерах Kubernetes, не перегружая сервис. По словам IBM, в ходе демонстрации на собственном оборудовании запустили 3,000 ИИ-агентов для написания кода — расходы оказались в пять-десять раз ниже, чем при использовании размещённой модели. Фреймворк работает с такими движками инференса, как vLLM и SGLang.
Почему это важно
Компании смогут выполнять ИИ-нагрузки внутри своей инфраструктуры, сокращая расходы на облако и избегая зависимости от одного поставщика.
