Ollama ha annunciato la versione 0.40.17-rc0. L’aggiornamento aggiunge il supporto a mmap per le GPU Vulkan, consentendo ai modelli di usare la memoria GPU in modo più efficiente. Abilita inoltre la generazione simultanea di testo nel backend MLX e migliora il ripristino dell’interfaccia a riga di comando di ChatGPT dopo un arresto anomalo. La libreria llama.cpp è stata aggiornata al commit b12257 e un nuovo contributore ha inviato la sua prima pull request.
Perché conta
Gli sviluppatori possono eseguire modelli più grandi e più velocemente sulle GPU compatibili, riducendo la latenza delle applicazioni AI locali.
