Ollama hat Version 0.40.17-rc0 angekündigt. Das Update ergänzt mmap-Unterstützung für Vulkan-GPUs, sodass Modelle den GPU-Speicher effizienter nutzen können. Außerdem ermöglicht es die gleichzeitige Textgenerierung im MLX-Backend und verbessert die Wiederherstellung der ChatGPT-Kommandozeile nach einem Absturz. Die Bibliothek llama.cpp wurde auf Commit b12257 aktualisiert, und ein neuer Mitwirkender hat seinen ersten Pull Request eingereicht.
Warum es wichtig ist
Entwickler können auf kompatiblen GPUs größere Modelle schneller ausführen und so die Latenz bei lokalen KI-Anwendungen verringern.
