A equipe ggml-org lançou o llama.cpp b12102 com uma mudança na forma de verificar o intervalo de memória de views de tensores com stride. A verificação anterior podia rejeitar views cujas linhas se sobrepunham, mesmo quando permaneciam dentro dos limites da origem, e permitir algumas views com stride mais amplo que ultrapassavam esses limites.
As funções de view atualizadas passam os strides ao construtor do tensor, que verifica os bytes efetivamente alcançados pela view. A versão também inclui uma asserção de que uma view com stride começa em elementos contíguos ao longo da primeira dimensão. Há pacotes de instalação para macOS, Linux, Android e Windows, entre outras plataformas.
Por que importa
Para quem desenvolve com llama.cpp, a verificação revisada pode impedir que views de tensores fora dos limites passem pela validação; as notas da versão não quantificam o efeito sobre o desempenho dos modelos.
