El proyecto llama.cpp publicó un parche que modifica la forma en que el código Vulkan carga números de coma flotante de 32 bits (F32). En las GPU Intel, cargar dos números a la vez es más rápido que hacerlo de uno en uno, así que la nueva lógica emplea una carga alineada a 2 en la rutina mul_mat_vec. El cambio también incorpora una comprobación de alineación que faltaba. Las pruebas de rendimiento en una placa de pruebas B60 alcanzan hasta 1,63 TFLOPS con determinados tamaños de matriz, una mejora notable respecto a la versión anterior.
Por qué importa
Un cálculo más rápido en la GPU permite inferencias de LLM más ágiles para quienes usan llama.cpp en hardware Intel.
