Het team van ggml-org heeft llama.cpp b12102 uitgebracht, met een wijziging in de manier waarop het geheugengebied van tensorviews met stapgroottes wordt gecontroleerd. De vorige controle kon views afwijzen waarvan de rijen elkaar overlappen, ook als ze binnen de bron bleven. Tegelijkertijd kon de controle sommige views met grotere stapgroottes goedkeuren die buiten de bron reikten.
De bijgewerkte viewfuncties geven hun stapgroottes door aan de tensorconstructor, die controleert welke bytes de view daadwerkelijk bereikt. De release controleert ook met een assertie dat een view met stapgroottes begint bij aaneengesloten elementen langs de eerste dimensie. Er zijn buildpakketten beschikbaar voor onder meer macOS, Linux, Android en Windows.
Waarom het ertoe doet
Voor ontwikkelaars die llama.cpp gebruiken, kan de aangepaste controle voorkomen dat tensorviews buiten de toegestane grenzen de validatie doorstaan. De releaseopmerkingen kwantificeren het effect op de modelprestaties niet.
