La release b11866 del team ggml-org per llama.cpp elimina una fase di riscalamento a potenze di due da un kernel Metal di moltiplicazione di matrici usato per i modelli mixture-of-experts. Il progetto spiega che ora lo scaling dei singoli token degli esperti nel grafo di calcolo mantiene le attivazioni della proiezione verso il basso entro l’intervallo supportato da f16 prima dell’esecuzione dell’operazione.
La modifica elimina anche i kernel di riduzione in due fasi, il relativo buffer temporaneo e un percorso di dispatch f32, insieme ai test per gli input che superavano l’intervallo di f16. La release elenca build per macOS su Apple Silicon e per molte altre piattaforme; non riporta misurazioni di velocità o accuratezza.
Perché conta
Per chi usa llama.cpp con modelli mixture-of-experts su Metal, il kernel ora si affida allo scaling eseguito in precedenza nel grafo di calcolo; la release non indica se questo influisca sulla velocità o sulla qualità dei risultati.
