Het llama.cpp-project bracht op 2026‑10‑08 versie b11490 uit. Deze versie ondersteunt de Hexagon-API "alloc_buffer_n", waarmee grote tensors over meerdere buffers kunnen worden verdeeld. De standaardgrootte van de dynamische buffer wordt verhoogd van 128 MB naar 512 MB om prestatieverlies bij grote modellen te voorkomen. De nieuwe vlag "--no-embd-offload" maakt opdrachtregels eenvoudiger voor apparaten die embeddings niet kunnen offloaden. Jhen‑Jie Hong was medeauteur van de wijzigingen.
Waarom het ertoe doet
Ontwikkelaars die hardware met Hexagon gebruiken, kunnen grotere taalmodellen efficiënter draaien zonder de buffergrootte handmatig af te stellen.
