ggml-org heeft llama.cpp b12530 uitgebracht met een update voor WebAssembly: de relaxed-SIMD-kernels zijn hersteld en er is ondersteuning toegevoegd voor de modelformaten q3_K en q6_K. Op de releasepagina staan ook downloads voor macOS, iOS en verschillende Linux-systemen.
De release bevat onder meer CPU-builds voor Ubuntu x64, arm64 en s390x. In de release-opmerkingen staat niet hoeveel invloed de WebAssembly-wijzigingen op de snelheid hebben.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp voor WebAssembly bouwen, kunnen gebruikmaken van de toegevoegde ondersteuning voor q3_K en q6_K. De release-opmerkingen geven echter geen cijfers over veranderingen in de prestaties.