La libreria open source Llama.cpp assegna ora quattro colonne di stato GDN a ogni warp CUDA, migliorando le prestazioni della GPU.
BreveDi OossaPubblicato da Oossa: 1 min di lettura
Il team ggml-org ha rilasciato la versione b11494 di llama.cpp. L’aggiornamento modifica il backend CUDA, assegnando a ogni warp quattro colonne di stato GDN anziché due. Questa impostazione è ora predefinita. Sono disponibili per il download i binari per macOS (Apple Silicon e Intel), iOS e diverse versioni di Ubuntu.
Chi usa llama.cpp con GPU NVIDIA può aspettarsi un’inferenza più veloce senza dover modificare il proprio codice.
Modelli
Il nuovo sistema di revisione basato su Claude e composto da tre agenti ha individuato il 73,43% degli errori nelle affermazioni principali, superando di gran lunga il precedente record del 14,81%.
Modelli
Il nuovo modello di Mistral, con un trilione di parametri, ottiene 38 in un indice indipendente, ma costa più dei modelli open concorrenti per ogni attività.
Modelli
OpenAI ha denunciato due campagne di influenza che hanno usato contenuti generati dall’IA per far pubblicare false notizie su media reali e ha bloccato gli account coinvolti.
Oossa · Newsletter
La settimana dell'IA, spiegata
Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.
