La version b11977 de llama.cpp, publiée par ggml-org, corrige la gestion des opérations SCALE sur les vues découpées de tenseurs dans son backend OpenVINO. Auparavant, une vue avec pas pouvait être traitée comme le tenseur source entier, ce qui produisait un résultat trop volumineux et pouvait faire échouer les tests.
Le correctif traite la vue comme une tranche et interdit les opérations SCALE en place sur les vues non contiguës, car la copie du résultat pouvait alors écrire dans les mauvais éléments. La version propose également des builds pour plusieurs plateformes, dont macOS, Linux, Android et Windows.
Pourquoi c'est important
Pour les développeurs qui utilisent le backend OpenVINO de llama.cpp avec des entrées constituées de vues découpées de tenseurs, ce correctif évite un cas susceptible de faire échouer les tests ou d’écrire les résultats dans les mauvais éléments.