A ggml-org lançou a versão b11778 do llama.cpp. A atualização adiciona suporte ao Nemotron‑3(.5)‑Embed, um novo modelo de incorporação de texto. Também inclui binários pré-compilados para Apple Silicon e Intel no macOS, iOS e diversas versões do Ubuntu, incluindo compilações para GPU com Vulkan e CUDA 12.8. Os arquivos estão disponíveis para download direto na página do lançamento no GitHub.
Por que importa
Agora, desenvolvedores podem executar o Nemotron‑3(.5)‑Embed localmente em uma ampla variedade de dispositivos, sem precisar de um serviço na nuvem.