Ollama hat v0.40.5-rc0 veröffentlicht, einen Releasekandidaten für seine lokale KI-Software. Das Update portiert benutzerdefinierte Kernels, die bisher mit Apples Grafiktechnologie Metal genutzt wurden, zu CUDA, NVIDIAs Plattform für GPU-Computing.
Außerdem kann die OpenAI-kompatible Responses API nun benutzerdefinierte Tool-Aufrufe im Gesprächsverlauf verarbeiten. Die Versionshinweise enthalten keine Leistungsangaben und nennen auch keinen Termin für die finale Version v0.40.5.
Warum es wichtig ist
Für Ollama-Nutzer mit NVIDIA-GPUs könnten die portierten CUDA-Kernels diese Funktionen auf ihrer Hardware verfügbar machen. Die Versionshinweise enthalten jedoch keine Leistungsangaben und bestätigen nicht, was sich in der finalen Version ändern wird.
