Oossa

llm‑d 1.0 traz controles próprios para inferência de IA empresarial

IBM, Red Hat e parceiros lançaram a versão 1.0 do llm‑d, com controles de QoS, atualizações sem interrupção e roteamento inteligente de cache para grandes modelos hospedados pela própria empresa.

NotaPor Publicado pelo Oossa: Última atualização: 1 min de leitura

A IBM e seus parceiros anunciaram a versão 1.0 do framework de código aberto llm‑d em 20 de outubro de 2026, durante a PyTorch Conference. A atualização inclui controles de qualidade de serviço, atualizações sem interrupção e roteamento de cache mais inteligente, permitindo que as empresas executem grandes modelos de linguagem em seus próprios clusters Kubernetes sem sobrecarregar o serviço. Segundo a IBM, uma demonstração executou 3.000 agentes de programação em hardware próprio a um custo de cinco a dez vezes menor que o de um modelo hospedado. O framework é compatível com mecanismos de inferência como vLLM e SGLang.

Por que importa

As empresas podem manter as cargas de trabalho de IA internamente, reduzir os custos de nuvem e evitar depender de um único fornecedor.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.