Oossa

llama.cpp b11723 verbessert FLASH_ATTN_EXT für längere Kontexte

Die Open-Source-Bibliothek llama.cpp ist in Version b11723 erschienen. Anpassungen an FLASH_ATTN_EXT für Hexagon beschleunigen die Inferenz mit langen Kontexten auf CPU und Vulkan.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das ggml-org-Team hat llama.cpp Version b11723 am 19. Okt. 2026 veröffentlicht. Das Update verbessert FLASH_ATTN_EXT für längere Kontextfenster und SWA-Modelle und überspringt maskierte Blöcke, um Speicherzugriffe zu reduzieren. Binärversionen sind jetzt für macOS (Apple Silicon und Intel), iOS und verschiedene Ubuntu-Varianten verfügbar, darunter auch mit Vulkan-GPU-Unterstützung. Die Änderungen sollen die Leistung bei Modellen wie gemma-4 steigern.

Warum es wichtig ist

Entwickler können LLMs mit größeren Kontexten auf Desktop-CPUs und kompatiblen GPUs effizienter ausführen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.