Ollama a publié la version v0.40.5-rc0, candidate à la prochaine version de son logiciel d’IA en local. Cette mise à jour porte vers CUDA, la plateforme de calcul sur GPU de NVIDIA, des noyaux personnalisés auparavant utilisés avec la technologie graphique Metal d’Apple.
Elle permet également à l’API Responses, compatible avec OpenAI, d’accepter les appels d’outils personnalisés dans l’historique des conversations. Les notes de version ne fournissent aucun chiffre de performance et ne précisent pas quand la version définitive v0.40.5 sera disponible.
Pourquoi c'est important
Pour les utilisateurs d’Ollama équipés d’un GPU NVIDIA, ce portage vers CUDA pourrait rendre ces noyaux personnalisés utilisables sur leur matériel. Les notes ne font toutefois état d’aucune mesure de performance et ne confirment pas les changements prévus dans la version définitive.
