Oossa

llama.cpp krijgt snellere GELU-kernels voor CPU in b11786

De open-sourceruntime voor LLM’s vernieuwt zijn CPU-berekeningen: GELU-functies worden nu rechtstreeks in volledige precisie berekend, zonder opzoektabel.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Het project ggml-org/llama.cpp heeft op 2026-10-21 versie b11786 uitgebracht. De update voegt nieuwe CPU-kernels toe die de f32-functies gelu_quick en geglu_quick rechtstreeks berekenen, zodat een fp16-opzoektabel niet meer nodig is. Ook zijn tests voor deze kernels toegevoegd en zijn de oude inf/nan-testgevallen verwijderd. Vooraf gebouwde binaries voor macOS, iOS en verschillende Linux-varianten zijn nu te downloaden.

Waarom het ertoe doet

Ontwikkelaars kunnen LLM’s sneller op CPU’s draaien doordat de nieuwe kernels de tragere opzoektabel overbodig maken.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.