A Ollama anunciou a versão 0.40.17-rc0. A atualização adiciona suporte a mmap para GPUs Vulkan, permitindo que o modelo use a memória da GPU com mais eficiência. Também habilita a geração de texto simultânea no backend MLX e melhora a restauração da interface de linha de comando do ChatGPT após uma falha. A biblioteca llama.cpp foi atualizada para o commit b12257, e um novo colaborador enviou seu primeiro pull request.
Por que importa
Desenvolvedores podem executar modelos maiores com mais rapidez em GPUs compatíveis, reduzindo a latência de aplicações locais de IA.
