Modders divulgaram uma falha de firmware que remove o limite de IA imposto pela Nvidia às placas das séries RTX 20, 30 e 40, informa o VideoCardz. O desbloqueio permite que a RTX 4090 alcance o dobro de sua taxa máxima anunciada de processamento de tensores, enquanto a RTX 3090 Ti pode ter um aumento de até 80% na velocidade dos cálculos matriciais. Nas especificações dessas GPUs para consumidores, a Nvidia limita o desempenho de cálculos FP32 com acumulação à metade da taxa FP16 — uma restrição que não existe nas placas profissionais Turing e Ampere. Os ganhos são menores em tarefas do mundo real, e a velocidade de geração de tokens em chatbots permanece semelhante por ser limitada pela largura de banda da memória.
A alteração é um patch de firmware que os próprios usuários podem aplicar; a Nvidia não se pronunciou oficialmente.
Por que importa
Os donos de GPUs compatíveis podem obter inferência de IA significativamente mais rápida sem comprar hardware novo.
