Ollama heeft versie 0.40.17-rc0 aangekondigd. De update voegt mmap-ondersteuning voor Vulkan-GPU’s toe, waardoor modellen het GPU-geheugen efficiënter kunnen gebruiken. Ook maakt de update gelijktijdige tekstgeneratie mogelijk in de MLX-backend en verbetert hij het herstel van de ChatGPT-commandline-interface na een crash. De llama.cpp-bibliotheek is bijgewerkt naar commit b12257 en een nieuwe bijdrager heeft zijn eerste pull request ingediend.
Waarom het ertoe doet
Ontwikkelaars kunnen grotere modellen sneller draaien op compatibele GPU’s, waardoor de latentie van lokale AI-toepassingen afneemt.
