Oossa

llama.cpp b11792 hält Daten länger auf der GPU

Die neue Version der Open-Source-LLM-Laufzeitumgebung bringt aktualisierte Binärdateien und eine GPU-Optimierung, die Daten länger auf der GPU belässt.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das ggml‑org-Team hat am 2026‑10‑21 llama.cpp Version b11792 veröffentlicht. Mit dem Update wurde der Aufruf set_rows geändert, sodass Daten auf der GPU bleiben können. Das verbessert die Geschwindigkeit für Nutzerinnen und Nutzer mit GPU. Fertig kompilierte Binärdateien sind jetzt für macOS Apple Silicon, macOS Intel, iOS und verschiedene Ubuntu-Versionen verfügbar (CPU, Vulkan, CUDA 12.8). Die Download-Links stehen auf der GitHub-Tag-Seite.

In den Versionshinweisen wird die Änderung als „place d2t by its set_rows use so it can stay on the GPU (#30912)“ aufgeführt.

Warum es wichtig ist

Entwickler können Llama-Modelle auf kompatiblen GPUs schneller ausführen, ohne zusätzliche Datenübertragungen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.