Oossa

llama.cpp b11784 åtgärdar krasch i Sycl iq3

Den öppna LLM-körmiljön llama.cpp uppdateras till b11784 med en kraschfix för Sycl iq3 och nya byggen för macOS, iOS, Linux och CUDA.

NotisAv Publicerad av Oossa: 1 min läsning

ggml-org-teamet har släppt llama.cpp version b11784. Uppdateringen åtgärdar en krasch i Sycl iq3-backenden. Versionen innehåller färdigbyggda binärer för Apple Silicon, Intel-Macar, iOS och flera Ubuntu-konfigurationer, däribland Vulkan och CUDA 12.8. Binärerna kan laddas ner från GitHub-sidan för versionen.

Varför det spelar roll

Utvecklare kan nu köra llama.cpp på fler typer av hårdvara utan krascher, vilket gör lokal inferens med LLM:er tillgänglig för fler.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.