Oossa

llama.cpp b12322 verlaagt geheugengebruik

De open-source LLaMA-inferentiebibliotheek is op 12 nov 2026 bijgewerkt en slaat ongebruikte graafmetadata over, wat ontwikkelaars RAM bespaart.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Het ggml-org-team heeft op 12 nov 2026 de tag b12322 voor llama.cpp uitgebracht. De wijziging past aan hoe graafresultaten metadata reserveren: alleen de benodigde pagina’s worden toegewezen, in plaats van de volledige reservering te initialiseren. Daardoor gebruikt de bibliotheek tijdens inferentie minder RAM.

De update is beschikbaar voor alle vermelde platforms, van macOS- en Windows-processors tot Linux-builds voor CUDA, Vulkan en OpenVINO.

Waarom het ertoe doet

Ontwikkelaars die LLaMA-modellen draaien op apparaten met weinig geheugen, gebruiken minder RAM. Daardoor kunnen ze grotere modellen gebruiken of soepeler multitasken.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.