Oossa

llama.cpp b12530 voegt WebAssembly-SIMD-ondersteuning toe

De release vernieuwt de WebAssembly-kernels van llama.cpp en voegt ondersteuning toe voor de formaten q3_K en q6_K. Ook zijn er downloads beschikbaar voor verschillende platforms.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

ggml-org heeft llama.cpp b12530 uitgebracht met een update voor WebAssembly: de relaxed-SIMD-kernels zijn hersteld en er is ondersteuning toegevoegd voor de modelformaten q3_K en q6_K. Op de releasepagina staan ook downloads voor macOS, iOS en verschillende Linux-systemen.

De release bevat onder meer CPU-builds voor Ubuntu x64, arm64 en s390x. In de release-opmerkingen staat niet hoeveel invloed de WebAssembly-wijzigingen op de snelheid hebben.

Waarom het ertoe doet

Ontwikkelaars die llama.cpp voor WebAssembly bouwen, kunnen gebruikmaken van de toegevoegde ondersteuning voor q3_K en q6_K. De release-opmerkingen geven echter geen cijfers over veranderingen in de prestaties.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.