Il progetto llama.cpp ha rilasciato una nuova versione che aggiunge il supporto all’operazione SSM_SCAN sulle NPU Hexagon di Qualcomm. L’aggiornamento include ottimizzazioni dei kernel, modifiche alla pipeline DMA e supporto per HMX. Amplia inoltre le build per diverse piattaforme, aggiungendo CUDA 13 e nuove configurazioni Snapdragon con CPU, GPU e NPU. La modifica è stata cofirmata da Max Krasnyansky di Qualcomm.
Perché conta
Gli sviluppatori possono eseguire i modelli llama.cpp più velocemente sui telefoni Snapdragon dotati di NPU Hexagon.
