Il progetto llama.cpp ha rilasciato una nuova versione che consente di caricare ed eseguire su una normale CPU il ramo SenseNova U1 dedicato alla comprensione, incluso il modello U1.5‑8B‑MoT. Aggiunge anche strumenti di conversione per l’encoder visivo del modello, che permettono di elaborare immagini a qualsiasi risoluzione. I rami dedicati alla generazione non sono ancora supportati, quindi l’aggiornamento è limitato alle attività di comprensione. Le modifiche sono state realizzate insieme a Sigbjørn Skjæret di Hugging Face.
Perché conta
Chi usa una CPU può ora eseguire il modello visivo SenseNova U1 ad alta risoluzione senza bisogno di una GPU.
