Das Team von ggml-org hat llama.cpp in Version b11777 veröffentlicht. Das Update wandelt die Ausgabe von Qwen-Modellen von einem 3-dimensionalen in einen 2-dimensionalen Tensor um und macht damit einen unnötigen letzten Umformungsschritt überflüssig. Außerdem enthält die Veröffentlichung sofort einsatzbereite Binärdateien für macOS (Apple Silicon und Intel), iOS und mehrere Ubuntu-Versionen, darunter Builds mit Vulkan- und CUDA-Unterstützung.
Warum es wichtig ist
Entwickler können die neuen Binärdateien herunterladen und lokale LLMs auf mehr Geräten ausführen, ohne den Quellcode selbst kompilieren zu müssen.
