ggml-org hat llama.cpp b12029 veröffentlicht, eine neue Version seiner Software zum Ausführen von Sprachmodellen. In den Versionshinweisen ist eine Änderung aufgeführt: Die Reihenfolge des CLS-Tokens von InternVL, eines Spezial-Tokens für die Verarbeitung multimodaler Eingaben, wurde korrigiert. Downloads gibt es für macOS, iOS und verschiedene Linux-Konfigurationen, darunter Versionen für CPU und Vulkan. Die Versionshinweise erläutern nicht, welche Nutzer oder Aufgaben von der Korrektur betroffen sind.
Warum es wichtig ist
Wer InternVL über llama.cpp ausführt, könnte von der Korrektur der Tokenreihenfolge profitieren. Die Versionshinweise machen jedoch keine Angaben zu den konkreten Auswirkungen oder zum Umfang des Fixes.
