Modders hebben een firmware-exploit uitgebracht die de ingebouwde AI-beperking op Nvidia-kaarten uit de RTX 20-, 30- en 40-serie opheft, meldt VideoCardz. Met de ontgrendeling kan de RTX 4090 zijn geadverteerde piekdoorvoer voor tensorberekeningen verdubbelen. De RTX 3090 Ti kan matrixberekeningen tot 80% sneller uitvoeren. Volgens de specificaties van Nvidia is de FP32-accumulatie doorvoer op deze consumentengpu’s beperkt tot de helft van de FP16-snelheid. Die beperking geldt niet voor Nvidia’s professionele Turing- en Ampere-kaarten. In de praktijk zijn de verbeteringen kleiner. Het aantal tokens per seconde van chatbots blijft ongeveer gelijk, omdat die snelheid wordt begrensd door de geheugenbandbreedte.
De wijziging bestaat uit een firmwarepatch die eigenaren zelf kunnen toepassen. Nvidia heeft nog niet officieel gereageerd.
Waarom het ertoe doet
Eigenaren van ondersteunde videokaarten kunnen AI-inferentie merkbaar versnellen zonder nieuwe hardware te kopen.
