ggml-org heeft llama.cpp b12029 uitgebracht, een nieuwe versie van de software om taalmodellen te draaien. In de release notes staat één wijziging: de volgorde van de CLS-token van InternVL is gecorrigeerd. Dit speciale token wordt gebruikt bij het verwerken van multimodale invoer. Er zijn downloads beschikbaar voor macOS, iOS en verschillende Linux-configuraties, waaronder CPU- en Vulkan-builds. De release notes leggen niet uit welke gebruikers of taken door de correctie worden geraakt.
Waarom het ertoe doet
Wie InternVL via llama.cpp draait, kan baat hebben bij de correctie van de tokenvolgorde, maar de release notes geven niet aan wat het praktische effect is of hoe breed dat is.
