Das Team von ggml-org hat llama.cpp in Version b11769 veröffentlicht. Das Update behebt einen Fehler, durch den der Server-Router Signale für Client-Verbindungsabbrüche nicht vollständig an untergeordnete Prozesse weitergab. Dadurch konnte sich der Abbruch von Anfragen verzögern. Außerdem wurde ein timing-sensitiver Test entfernt. Neue vorkompilierte Binärdateien gibt es jetzt für macOS mit Apple Silicon, macOS mit Intel-Prozessoren, iOS und mehrere Ubuntu-Varianten.
Warum es wichtig ist
Entwickler können llama.cpp lokal nutzen und Anfragen zuverlässiger abbrechen. So wird weniger Rechenleistung für unterbrochene Aufgaben verschwendet.
