Oossa

llama.cpp b11723 versnelt inference met langere context

De opensourcebibliotheek llama.cpp is uitgebracht als versie b11723, met verbeteringen aan hexagon FLASH_ATTN_EXT voor snellere inference met grote contextvensters op CPU en Vulkan.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Het team van ggml-org bracht llama.cpp versie b11723 uit op 19 okt 2026. De update verbetert FLASH_ATTN_EXT voor langere contextvensters en SWA-modellen en voegt ondersteuning toe voor het overslaan van gemaskeerde blokken, waardoor er minder geheugen hoeft te worden opgehaald. Er zijn nu binaire builds beschikbaar voor macOS (Apple Silicon en Intel), iOS en verschillende Ubuntu-versies, waaronder met ondersteuning voor Vulkan-GPU’s. De wijzigingen zijn bedoeld om de prestaties te verbeteren van modellen zoals gemma-4.

Waarom het ertoe doet

Ontwikkelaars kunnen LLM’s met een grotere context efficiënter draaien op desktop-CPU’s en compatibele GPU’s.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.