Das Projekt ggml‑org/llama.cpp hat am 2026‑10‑21 Version b11773 veröffentlicht. Das Update unterstützt einen neuen Modelltyp namens H2O‑Lightning‑4B. Dabei handelt es sich um ein Qwen3.5‑4B-Modell mit einer zusammengeführten Decision-LoRA. Das Modell gibt Antworten mit einem vorangestellten Leerzeichen zurück (" A") und kann bis zu 255 Labels verarbeiten. Der Konverter schreibt nun Entscheidungsmetadaten und prüft, ob die serve_config.json dazu passt. An der Änderung haben Mitarbeiter von H2O AI mitgewirkt; getestet wurde sie auf verschiedenen CPU- und GPU-Plattformen.
Warum es wichtig ist
Entwickler können Entscheidungsmodelle nun direkt mit llama.cpp auf vielen unterschiedlichen Hardwarekonfigurationen ausführen.
