Oossa

llama.cpp acelera GPUs Volta em cerca de 3%

Uma alteração de duas linhas aplica às Volta (sm_70) a tabela MMVQ das Turing, aumentando em cerca de 3% a velocidade na Tesla V100 sem alterar os resultados.

NotaPor Publicado pelo Oossa: 1 min de leitura

O projeto llama.cpp lançou uma pequena atualização para CUDA em 2026-10-02. Com ela, GPUs Volta (sm_70) passam a usar a mesma tabela de ajustes MMVQ das GPUs Turing. Em uma Tesla V100 32 GB, a mudança aumentou em cerca de 3 % o throughput do modelo Qwen3.8‑27B. A qualidade das respostas, medida pela perplexidade, permaneceu igual. O patch foi desenvolvido por anyei e coautores.

Por que importa

Quem usa o llama.cpp em GPUs V100 pode executar modelos um pouco mais rápido sem perder precisão.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.