Il team di ggml-org ha pubblicato llama.cpp versione b12074, con modifiche allo stato della convoluzione delta-net. L’aggiornamento imposta l’indice dello slot di rollback come input I32 valorizzato sull’host, invece di calcolarlo sul dispositivo tramite le operazioni arange e argsort.
Le note di rilascio spiegano che l’indice è costante per ogni forma del grafo e che la modifica elimina la necessità per il backend dei metadati di replicare uno split per arange. Non riportano miglioramenti misurati in termini di velocità o memoria.
Perché conta
Chi usa modelli llama.cpp con delta-net potrebbe notare un cambiamento nel calcolo interno, ma le note di rilascio non chiariscono se comporti miglioramenti concreti delle prestazioni.
