Il team ggml-org ha rilasciato llama.cpp b12052, una nuova versione del software usato per eseguire modelli linguistici. La novità principale è l’aggiunta di «topk_mask» per OpenCL, un framework che consente di eseguire calcoli su hardware diverso. La pagina della release elenca anche build per macOS, iOS e diversi sistemi Linux.
Perché conta
Chi usa llama.cpp con OpenCL potrebbe ora sfruttare la maschera top-k, anche se le note di rilascio non specificano quali modelli o attività ne traggano vantaggio.
