Teamet bakom ggml-org har publicerat llama.cpp version b11777. Uppdateringen ändrar Qwen-modellens utdata från en tredimensionell till en tvådimensionell tensor, så att ett onödigt avslutande omformningssteg kan tas bort. Versionen innehåller också färdiga binärer för macOS (Apple Silicon och Intel), iOS och flera Ubuntu-varianter, däribland alternativ med Vulkan och CUDA.
Varför det spelar roll
Utvecklare kan ladda ner de nya binärerna och köra lokala LLM:er på fler enheter utan att behöva bygga från källkod.
