Oossa

Moddare låser upp AI-prestanda i Nvidia RTX 20–40

Ett firmwareutnyttjande tar bort en begränsning som halverar AI-prestandan. RTX 4090 kan då fördubbla sin maximala tensorprestanda och RTX 3090 Ti öka matrisberäkningarna med upp till 80%.

NotisAv Publicerad av Oossa: 1 min läsning

Moddare har släppt ett firmwareutnyttjande som tar bort Nvidias inbyggda AI-begränsning på grafikkort i RTX 20-, 30- och 40-serierna, rapporterar VideoCardz. Upplåsningen gör att RTX 4090 kan nå dubbla den angivna maximala tensorprestandan, medan RTX 3090 Ti får upp till 80% högre hastighet på matrisberäkningar. Enligt Nvidias specifikationer begränsas FP32-ackumuleringsberäkningar till halva FP16-hastigheten på dessa konsumentgrafikkort – en begränsning som inte finns på företagets professionella Turing- och Ampere-kort. I praktiska användningsfall är prestandavinsterna mindre, och antalet genererade chatbot-token per sekund är ungefär oförändrat eftersom hastigheten begränsas av minnesbandbredden.

Ändringen består av en firmwareuppdatering som ägare kan installera själva. Nvidia har inte lämnat något officiellt svar.

Varför det spelar roll

Ägare till kompatibla grafikkort kan få märkbart snabbare AI-inferens utan att köpa ny hårdvara.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.