Ollama heeft v0.40.5-rc0 uitgebracht, een releasekandidaat voor zijn lokale AI-software. De update brengt aangepaste kernels die eerder werden gebruikt met Apples Metal-grafische technologie over naar CUDA, het platform van NVIDIA voor GPU-berekeningen.
Ook kan de OpenAI-compatibele Responses API nu aangepaste toolaanroepen in de gespreksgeschiedenis accepteren. De releaseopmerkingen bevatten geen prestatiecijfers en vermelden niet wanneer de definitieve versie 0.40.5 verschijnt.
Waarom het ertoe doet
Voor Ollama-gebruikers met NVIDIA-GPU’s kan de CUDA-port deze aangepaste kernels beschikbaar maken op hun hardware. De releaseopmerkingen geven echter geen prestatiecijfers en bevestigen niet wat er in de definitieve versie verandert.
