Ollama ha pubblicato v0.40.5-rc0, una release candidate del suo software per l’intelligenza artificiale in locale. L’aggiornamento porta su CUDA i kernel personalizzati finora usati con Metal, la tecnologia grafica di Apple. CUDA è la piattaforma di NVIDIA per il calcolo su GPU.
Inoltre, permette all’API Responses compatibile con OpenAI di accettare chiamate personalizzate agli strumenti nella cronologia delle conversazioni. Le note di rilascio non riportano dati sulle prestazioni né indicano quando sarà disponibile la versione definitiva di v0.40.5.
Perché conta
Per chi usa Ollama con GPU NVIDIA, il porting su CUDA potrebbe rendere disponibili questi kernel personalizzati anche sul proprio hardware, anche se le note non riportano dati sulle prestazioni né confermano cosa cambierà nella versione definitiva.
