Oossa

llama.cpp acelera un 3 % en las GPU V100 con un ajuste de CUDA

Un cambio de dos líneas asigna las GPU Volta (sm_70) a la tabla MMVQ de Turing y mejora cerca de un 3 % la velocidad en una Tesla V100, sin alterar los resultados.

BrevePor Publicado por Oossa: 1 min de lectura

El proyecto llama.cpp publicó una pequeña actualización de CUDA el 2026-10-02. El cambio hace que las GPU Volta (sm_70) usen la misma tabla de ajuste MMVQ que las GPU Turing. En una Tesla V100 de 32 GB, aumentó el rendimiento alrededor de un 3 % con el modelo Qwen3.8‑27B. La calidad de los resultados, medida por la perplejidad, se mantuvo igual. El parche fue aportado por anyei y sus coautores.

Por qué importa

Quienes usan llama.cpp en GPU V100 pueden ejecutar modelos un poco más rápido sin perder precisión.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.