Oossa

llama.cpp b11555 åtgärdar CPU-bugg och får nya binärer

Det öppna inferensbiblioteket Llama uppdateras till b11555. Uppdateringen åtgärdar ett problem på AVX2-processorer utan stöd för F16C och innehåller nya byggen för macOS, iOS och Linux.

NotisAv Publicerad av Oossa: 1 min läsning

ggml-org har släppt llama.cpp version b11555. Uppdateringen rättar en bugg som gjorde att AVX2-processorer inte använde instruktionsuppsättningen F16C, trots att den fanns tillgänglig. I versionen ingår också nya binärpaket för Apple Silicon och Intel på macOS, iOS samt flera Ubuntu-konfigurationer, bland annat med stöd för Vulkan och CUDA 12.8.

Varför det spelar roll

Utvecklare som kör Llama-modeller på kompatibla processorer får snabbare inferens utan att behöva installera egna korrigeringar.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.