Ollama publicó v0.40.5-rc0, una versión candidata de su software de IA local. La actualización adapta a CUDA los kernels personalizados que antes se usaban con Metal, la tecnología gráfica de Apple. CUDA es la plataforma de NVIDIA para el procesamiento con GPU.
También permite que la Responses API, compatible con OpenAI, acepte llamadas personalizadas a herramientas en el historial de conversación. Las notas de la versión no incluyen cifras de rendimiento ni indican cuándo estará disponible la versión final v0.40.5.
Por qué importa
Para quienes usan Ollama con GPU NVIDIA, la adaptación a CUDA podría permitirles utilizar estos kernels personalizados en su hardware, aunque las notas no informan sobre el rendimiento ni confirman qué cambios incluirá la versión final.
