Ollama anunció la versión 0.40.17-rc0. La actualización añade compatibilidad con mmap para GPU Vulkan, lo que permite que el modelo aproveche la memoria de la GPU de forma más eficiente. También habilita la generación simultánea de texto en el backend MLX y mejora la forma en que la interfaz de línea de comandos de ChatGPT se recupera tras un fallo. La biblioteca llama.cpp se actualizó al commit b12257 y una nueva persona colaboradora presentó su primera solicitud de cambios.
Por qué importa
Los desarrolladores pueden ejecutar modelos más grandes y rápidos en GPU compatibles, lo que reduce la latencia de las aplicaciones de IA locales.
