ggml-org hat llama.cpp in Version b12362 veröffentlicht. Das Update führt Linksfaktorisierung ein, um den Abgleich mit Grammatiken zu beschleunigen, ergänzt einen abstrakten Syntaxbaum für das Parsing und begrenzt alternative Regeln. Einige neuere Commits wurden zurückgenommen, um den Parser stabil zu halten. Der Build unterstützt nun zahlreiche Plattformen – von macOS auf Apple Silicon bis zu Windows mit CUDA 13.
Laut Versionshinweisen werden Linux, Android und Windows sowie verschiedene GPU-Backends wie Vulkan und OpenCL unterstützt.
Warum es wichtig ist
Entwickler können LLMs auf vielen Geräten mit einer schnelleren und zuverlässigeren Grammatikverarbeitung ausführen.
