Das ggml-org-Team hat llama.cpp in Version b12329 veröffentlicht. Die Version enthält eine CUDA-Optimierung, die die Verarbeitung von Gewichtsskalierungen in Matrixmultiplikations-Schreibvorgänge integriert und so nvfp4-Checkpoints beschleunigt. Außerdem gibt es neue vorgefertigte Binaries für Apple Silicon, Intel-Macs, iOS und verschiedene Linux-Varianten. Die Änderungen stehen auf der GitHub-Release-Seite zum Download bereit.
Warum es wichtig ist
Entwickler können Llama-Modelle auf NVIDIA-GPUs schneller ausführen und auf mehr Plattformen auf sofort nutzbare Binaries zurückgreifen.
