ggml-orgがllama.cppのバージョンb12362を公開した。今回の更新では、文法照合を高速化する左因子化を導入し、構文解析用の抽象構文木(AST)を追加したほか、選択規則の数を制限した。パーサーの安定性を保つため、最近のコミットの一部は取り消された。ビルドはmacOSのApple SiliconからWindows CUDA 13まで、幅広いプラットフォームに対応する。
リリースノートには、Linux、Android、Windowsに加え、VulkanやOpenCLなど各種GPUバックエンドへの対応が記載されている。
なぜ重要か
多様なデバイスで、より高速かつ安定した文法処理を使ってLLMを実行できる。