L’équipe ggml-org a publié la version b12074 de llama.cpp, qui apporte des changements à l’état de convolution delta-net. L’indice du slot de retour arrière est désormais une entrée I32 renseignée sur l’hôte, au lieu d’être calculé sur l’appareil à l’aide des opérations arange et argsort.
D’après les notes de version, l’indice est constant pour chaque forme de graphe et ce changement évite au backend de métadonnées de devoir reproduire un découpage pour arange. Elles ne font état d’aucun gain mesuré en vitesse ou en mémoire.
Pourquoi c'est important
Les personnes qui utilisent llama.cpp avec des modèles reposant sur delta-net peuvent constater une modification du calcul interne, mais les notes de version ne permettent pas de savoir si elle améliore concrètement les performances.
