Ollama publicou a versão v0.40.5-rc0, candidata a lançamento do seu software de IA local. A atualização adapta para CUDA kernels personalizados usados anteriormente com o Metal, tecnologia gráfica da Apple, e os leva para a plataforma de computação em GPU da NVIDIA.
A atualização também permite que a Responses API, compatível com a OpenAI, aceite chamadas personalizadas de ferramentas no histórico da conversa. As notas da versão não apresentam dados de desempenho nem informam quando será lançada a versão final v0.40.5.
Por que importa
Para quem usa o Ollama em GPUs NVIDIA, a adaptação para CUDA pode disponibilizar esses kernels personalizados nesse hardware, embora as notas não informem o desempenho nem confirmem o que mudará na versão final.
