Il team ggml-org ha rilasciato la versione b11710 di llama.cpp, una nuova build del suo software open source per eseguire modelli linguistici. Tra le modifiche segnalate c’è la fusione top-k degli esperti raggruppati per CUDA, una piattaforma di calcolo per schede grafiche; sono inclusi anche test e una modifica relativa a HIP.
La pagina della release offre download per diversi sistemi, tra cui macOS, iOS e Linux. Non riporta risultati di benchmark né indica quanto la modifica incida sulla velocità o sull’uso della memoria.
Perché conta
Gli sviluppatori che usano CUDA con modelli a esperti raggruppati possono provare la nuova implementazione, ma le note della release non dimostrano che migliori le prestazioni nella pratica.
