Ollama a annoncé la version 0.40.17-rc0. Cette mise à jour ajoute la prise en charge de mmap pour les GPU Vulkan, ce qui permet aux modèles d’utiliser la mémoire GPU plus efficacement. Elle permet également la génération simultanée de texte avec le backend MLX et améliore la restauration de l’interface en ligne de commande ChatGPT après un plantage. La bibliothèque llama.cpp a été mise à niveau vers le commit b12257, et une nouvelle personne contributrice a soumis sa première pull request.
Pourquoi c'est important
Les développeurs peuvent exécuter plus rapidement des modèles plus volumineux sur les GPU compatibles, ce qui réduit la latence des applications d’IA locales.
