Oossa

llama.cpp får nytt API för buffertallokering i b11351

Uppdateringen den 2 okt. 2026 lägger till alloc_buffer_n i ggml:s buffertgränssnitt och förbättrar minneshanteringen på flera enheter.

NotisOossaPublicerad av Oossa: 1 min läsning

Projektet ggml‑org/llama.cpp släppte version b11351 den 2026-10-02. Uppdateringen lägger till metoden alloc_buffer_n i gränssnittet ggml_backend_buffer_type_i, med det publika API:et ggml_backend_buft_alloc_buffer_n. Standardimplementeringen stöder nu uppdelning av buffertar mellan flera enheter och bättre tensorallokering. Befintliga bufferttyper som CPU, Metal, OpenVINO och andra får en NULL-platshållare för den nya metoden. Tester har lagts till för att täcka den nya funktionen.

Varför det spelar roll

Utvecklare kan nu hantera minne mer tillförlitligt på olika typer av hårdvara, vilket minskar allokeringsfel i AI-modeller.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.