Teamet bakom ggml-org har släppt llama.cpp b11849, som lägger till stöd för SGN-operationen på Hexagon, Qualcomms processorarkitektur. Enligt versionsinformationen omfattar ändringen även stöd för halv precision och en optimering som använder teckenbiten.
Versionen innehåller också byggen för macOS, iOS och Ubuntu, däribland CPU-byggen för x64, arm64 och s390x. Det framgår inte av versionsinformationen vilka enheter eller arbetsbelastningar som kan få en märkbar förbättring av hastighet eller prestanda.
Varför det spelar roll
Utvecklare som använder llama.cpp med Hexagon-hårdvara kan använda den nya SGN-operationen, men versionsinformationen kvantifierar inte hur den påverkar modellernas prestanda.
