ggml‑org a publié la version b11778 de llama.cpp. Cette version ajoute la prise en charge de Nemotron‑3(.5)‑Embed, un nouveau modèle de vectorisation de texte. Elle comprend également des binaires précompilés pour les Mac à puce Apple Silicon, les Mac Intel, iOS et plusieurs variantes d’Ubuntu, notamment des versions GPU compatibles avec Vulkan et CUDA‑12.8. Les fichiers sont disponibles en téléchargement direct sur la page de la version publiée sur GitHub.
Pourquoi c'est important
Les développeurs peuvent désormais exécuter Nemotron‑3(.5)‑Embed en local sur un large éventail d’appareils, sans avoir besoin d’un service cloud.