Het llama.cpp-project heeft een nieuwe versie uitgebracht die de tak voor dicht begrip van SenseNova U1 kan laden en uitvoeren op een standaard-CPU, waaronder het model U1.5‑8B‑MoT. Ook zijn er conversietools toegevoegd voor de vision encoder van het model, zodat afbeeldingen met elke resolutie kunnen worden ingevoerd. De generatietakken worden nog niet ondersteund, waardoor de update beperkt blijft tot begripstaken. De wijzigingen zijn mede ontwikkeld door Sigbjørn Skjæret van Hugging Face.
Waarom het ertoe doet
Gebruikers met een CPU kunnen het SenseNova U1-visionmodel nu op hoge resolutie draaien zonder een GPU nodig te hebben.
