Oossa

llama.cpp b12102 corrige la validación de vistas tensoriales con stride

La versión cambia cómo llama.cpp comprueba la memoria que usan las vistas tensoriales, para evitar que se rechacen vistas seguras o se pasen por alto lecturas más allá de los datos de origen.

BrevePor Publicado por Oossa: 1 min de lectura

El equipo de ggml-org lanzó llama.cpp b12102 con un cambio en la forma de comprobar el rango de memoria de las vistas tensoriales con stride. La comprobación anterior podía rechazar vistas cuyas filas se solapaban, aunque no se salieran de los datos de origen, y permitir algunas vistas con un stride más amplio que sí accedían a memoria fuera de ese rango.

Las funciones actualizadas para crear vistas ahora pasan los strides al constructor del tensor, que comprueba los bytes a los que realmente llega la vista. La versión también verifica que una vista con stride parta de elementos contiguos en su primera dimensión. Hay paquetes de compilación para macOS, Linux, Android y Windows, entre otras plataformas.

Por qué importa

Para quienes desarrollan con llama.cpp, la nueva comprobación puede evitar que las vistas tensoriales que exceden el rango permitido superen la validación. Las notas de la versión no cuantifican el efecto en el rendimiento de los modelos.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.