Oossa

llama.cpp b11782 rättar fel i tokenräkningen

Den öppna LLM-motorn uppdaterar serverkoden så att antal completion-token räknas korrekt vid flera genereringar. Nya binärfiler tillkommer för macOS, iOS och Linux.

NotisAv Publicerad av Oossa: 1 min läsning

ggml‑org släppte llama.cpp version b11782 den 21 okt 2026. Uppdateringen åtgärdar ett serverfel som gjorde att usage.completion_tokens räknades för lågt när n > 1, vilket gav för låga uppgifter om tokenanvändningen vid batchgenerering. Versionen innehåller också nya förbyggda binärfiler för Apple Silicon, Intel-Macar och iOS samt flera Ubuntu-versioner (CPU, Vulkan, CUDA).

Varför det spelar roll

Utvecklare får korrekta uppgifter om tokenanvändningen och kan därmed hålla koll på kostnader och prestanda när de kör flera genereringar.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.