A equipe ggml-org lançou a versão b12074 do llama.cpp com mudanças no estado de convolução delta-net. Com a atualização, o índice do slot de reversão passa a ser uma entrada I32 preenchida no host, em vez de ser calculado no dispositivo com as operações arange e argsort.
As notas de lançamento dizem que o índice é constante para cada formato de grafo e que a mudança elimina a necessidade de o backend de metadados espelhar uma divisão para arange. Não há resultados de medições de desempenho ou uso de memória.
Por que importa
Quem usa modelos no llama.cpp que recorrem a delta-net pode notar uma mudança no cálculo interno, mas as notas de lançamento não permitem concluir se ela melhora o desempenho na prática.
