Oossa

llama.cpp b11723 ger FLASH_ATTN_EXT längre kontext

Den öppna källkodsbiblioteket llama.cpp har släppt version b11723 med hexagon-justeringar av FLASH_ATTN_EXT som snabbar upp inferens med lång kontext på CPU och Vulkan.

NotisAv Publicerad av Oossa: 1 min läsning

Teamet ggml-org publicerade llama.cpp version b11723 den 19 okt. 2026. Uppdateringen innehåller förbättringar av FLASH_ATTN_EXT för längre kontextfönster och SWA-modeller, samt överhoppning av maskerade block för att minska antalet minneshämtningar. Binärversioner finns nu för macOS (Apple Silicon och Intel), iOS och flera Ubuntu-varianter, med stöd för Vulkan-GPU. Ändringarna ska förbättra prestandan för modeller som gemma-4.

Varför det spelar roll

Utvecklare kan köra LLM:er med längre kontext effektivare på stationära processorer och kompatibla grafikkort.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.