Oossa

llama.cpp b11913 permite ajustar o tamanho da VTCM do Hexagon

A versão do llama.cpp permite definir outro tamanho para a VTCM do Hexagon, com sufixos K, M ou G.

NotaPor Publicado pelo Oossa: 1 min de leitura

A versão b11913 do llama.cpp, da equipe ggml-org, permite definir outro tamanho para a VTCM, um recurso de memória usado pelo backend Hexagon. A configuração se chama `GGML_HEXAGON_VTCM_SIZE` e aceita os sufixos K, M ou G.

As notas da versão também mostram que um limite proposto para `NTHREADS` acabou sendo removido. Elas não informam o tamanho padrão da VTCM nem explicam como a mudança afeta o desempenho.

Por que importa

Quem usa o llama.cpp com hardware Hexagon pode definir outro tamanho para a VTCM, mas as notas da versão não indicam qual valor usar nem se isso melhora o desempenho.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.