Ollama har släppt v0.40.5-rc0, en kandidatversion av sin lokala AI-programvara. Uppdateringen porterar anpassade kärnor som tidigare användes med Apples grafikteknik Metal till CUDA, Nvidias plattform för GPU-beräkningar.
Den gör också att det OpenAI-kompatibla Responses API kan ta emot anpassade verktygsanrop i konversationshistoriken. I versionsinformationen anges inga prestandasiffror och inte heller när den slutliga versionen v0.40.5 kommer.
Varför det spelar roll
För Ollama-användare med Nvidia-grafikkort kan CUDA-porteringen göra de här anpassade kärnorna tillgängliga på deras hårdvara, men versionsinformationen redovisar ingen prestanda och bekräftar inte vad som kommer att ändras i den slutliga versionen.
