Das Team von ggml-org hat llama.cpp b12052 veröffentlicht, eine neue Version der Software zum Ausführen von Sprachmodellen. Die wichtigste Neuerung ist die Unterstützung von „topk_mask“ für OpenCL, ein Framework, mit dem Berechnungen auf unterschiedlicher Hardware ausgeführt werden können. Auf der Release-Seite sind außerdem Builds für macOS, iOS und mehrere Linux-Systeme aufgeführt.
Warum es wichtig ist
Wer llama.cpp mit OpenCL nutzt, kann möglicherweise Top-k-Maskierung verwenden. Aus den Release Notes geht jedoch nicht hervor, welche Modelle oder Aufgaben davon profitieren.
