Ollama har meddelat att version 0.40.17-rc0 har släppts. Uppdateringen lägger till stöd för mmap på Vulkan-GPU:er, så att modeller kan använda GPU-minnet effektivare. Den möjliggör också parallell textgenerering i MLX-backenden och förbättrar återställningen av ChatGPT:s kommandoradsgränssnitt efter en krasch. Biblioteket llama.cpp har uppdaterats till commit b12257, och en ny bidragsgivare har skickat in sin första pull request.
Varför det spelar roll
Utvecklare kan köra större modeller snabbare på kompatibla GPU:er, vilket minskar fördröjningen i lokala AI-applikationer.
