L’équipe ggml-org a publié la version b11769 de llama.cpp. Cette mise à jour corrige un bug qui empêchait le routeur du serveur de transmettre correctement aux processus enfants les signaux de déconnexion des clients, ce qui pouvait retarder l’annulation des requêtes. Elle supprime également un test sensible au timing. De nouveaux binaires précompilés sont désormais disponibles pour les Mac équipés d’une puce Apple Silicon, les Mac Intel, iOS et plusieurs variantes d’Ubuntu.
Pourquoi c'est important
Les développeurs peuvent exécuter llama.cpp en local avec une annulation des requêtes plus fiable, ce qui réduit le gaspillage de ressources de calcul lorsque des tâches sont interrompues.
