Oossa

llama.cpp b11913 permite ajustar la memoria Hexagon

La versión de llama.cpp añade una opción para modificar el tamaño de la VTCM de Hexagon, con valores que admiten los sufijos K, M o G.

BrevePor Publicado por Oossa: 1 min de lectura

La versión b11913 de llama.cpp, del equipo ggml-org, añade una opción para modificar el tamaño de la VTCM, un recurso de memoria que utiliza el backend Hexagon. El ajuste se llama `GGML_HEXAGON_VTCM_SIZE` y admite los sufijos K, M o G.

Las notas de la versión también indican que se descartó más adelante un límite propuesto para `NTHREADS`. No especifican un tamaño predeterminado de VTCM ni explican cómo afecta el cambio al rendimiento.

Por qué importa

Quienes ejecutan llama.cpp con hardware Hexagon pueden modificar el tamaño de la VTCM, pero las notas de la versión no indican qué valor conviene usar ni si esto mejora el rendimiento.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.