ggml-orgは、言語モデルを実行するソフトウェアの新バージョン「llama.cpp b12029」をリリースした。リリースノートに記載された変更点は1つで、マルチモーダル入力の処理に使われる特殊トークン、InternVLのCLSトークンの順序を修正した。ダウンロード版はmacOS、iOSのほか、CPU版やVulkan版を含む複数のLinux環境向けに用意されている。今回の修正がどのユーザーやタスクに影響するかは、リリースノートに記載されていない。
なぜ重要か
llama.cppでInternVLを実行しているユーザーは、トークン順序の修正による恩恵を受ける可能性がある。ただし、実際の効果や適用範囲はリリースノートに明記されていない。