Oossa

llama.cpp melhora o gerenciamento do cache de prompts

A nova versão permite que o servidor mantenha na RAM apenas slots reutilizáveis, reduzindo o desperdício de memória em certos tipos de tarefa.

NotaPor Publicado pelo Oossa: 1 min de leitura

O projeto llama.cpp lançou a versão b11642 em 2026-10-15. A atualização muda a forma como o servidor armazena os slots do cache de prompts. Só são salvos os slots que podem ser restaurados mais tarde; assim, slots inativos de tarefas de rerank, embedding, decisão e infill deixam de ocupar o cache. As tarefas de decisão agora ignoram o cache por completo, a menos que a opção --cache-ram seja usada. Isso reduz o uso de RAM e evita movimentações desnecessárias no cache.

Por que importa

Desenvolvedores que executam o llama.cpp em hardware com recursos limitados terão menor uso de memória e menos lentidão relacionada ao cache.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.