Teamet ggml-org har släppt llama.cpp version b11769. Uppdateringen åtgärdar ett fel som gjorde att serverns router inte vidarebefordrade signaler om att klienter kopplat från fullständigt till underprocesserna, vilket kunde fördröja avbrytandet av begäranden. Ändringen tar också bort ett tidskänsligt test. Nya färdigbyggda binärfiler finns nu för macOS med Apple Silicon, macOS med Intel, iOS och flera Ubuntu-varianter.
Varför det spelar roll
Utvecklare kan köra llama.cpp lokalt och avbryta begäranden mer tillförlitligt, vilket minskar onödig beräkningsanvändning när en uppgift avbryts.
