ggml-org ha pubblicato llama.cpp b11895, che corregge l’overflow degli offset nei risultati di grandi matrici su Metal. La modifica amplia anche gli offset dei batch e gli indici dei token usati dall’operazione MUL_MAT_ID.
La pagina della versione mette a disposizione download per Mac Apple Silicon e Intel, iOS e diverse build per Ubuntu, con CPU e Vulkan.
Perché conta
Gli sviluppatori che usano llama.cpp su Metal potrebbero evitare l’overflow degli offset nei risultati di grandi matrici, anche se le note di rilascio non indicano quanto spesso si verificasse il problema né quali carichi di lavoro lo causassero.
