De open-sourcelibrary llama.cpp bracht op 14 november 2026 versie b12385 uit. De update verhelpt een bug in het Qwen2VL-model waarbij de schaalfactoren voor de lagen van het feedforwardnetwerk niet werden toegepast. Daardoor produceerde het model onzinnige uitvoer, met een perplexity van ongeveer 1 e6 op CUDA en NaN op CPU. De oplossing geeft de juiste schaalfactoren door aan de buildroutine, zodat het model weer normaal werkt.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp gebruiken, kunnen Qwen2VL nu weer betrouwbaar uitvoeren en voorkomen zo dat hun toepassingen onbruikbare resultaten opleveren.
