A ggml-org lançou a versão b12362 do llama.cpp. A atualização introduz a fatoração à esquerda para acelerar a correspondência de gramáticas, adiciona uma árvore sintática abstrata (AST) para o processamento e limita as regras alternativas. Alguns commits recentes foram revertidos para manter a estabilidade do analisador. A compilação agora oferece suporte a várias plataformas, do macOS com Apple Silicon ao Windows com CUDA 13.
As notas da versão listam suporte para Linux, Android e Windows, além de vários back-ends de GPU, como Vulkan e OpenCL.
Por que importa
Desenvolvedores podem executar LLMs com processamento de gramáticas mais rápido e confiável em uma ampla variedade de dispositivos.
