Das Team von ggml-org hat llama.cpp b12102 veröffentlicht und die Prüfung des Speicherbereichs von Tensor-Views mit Strides angepasst. Die bisherige Prüfung konnte Views ablehnen, deren Zeilen sich überlappten, obwohl sie innerhalb des Quellspeichers blieben. Zugleich konnten manche Views mit größeren Strides über dessen Ende hinausreichen, ohne beanstandet zu werden.
Die überarbeiteten View-Funktionen übergeben ihre Strides an den Tensor-Konstruktor, der prüft, auf welche Bytes die View tatsächlich zugreift. Außerdem stellt das Release sicher, dass eine View mit Strides in der ersten Dimension bei zusammenhängenden Elementen beginnt. Build-Pakete sind unter anderem für macOS, Linux, Android und Windows aufgeführt.
Warum es wichtig ist
Für Entwickler, die llama.cpp nutzen, kann die überarbeitete Prüfung verhindern, dass Tensor-Views außerhalb des gültigen Speicherbereichs die Validierung bestehen. Die Release-Hinweise beziffern keine Auswirkungen auf die Modellleistung.
