Modder haben einen Firmware-Exploit veröffentlicht, der die eingebaute KI-Drosselung bei Nvidia-Grafikkarten der RTX-20-, 30- und 40-Serie aufhebt, berichtet VideoCardz. Damit erreicht die RTX 4090 die doppelte angegebene Tensor-Spitzenleistung; bei der RTX 3090 Ti steigt die Geschwindigkeit bei Matrixberechnungen um bis zu 80%. Nvidia begrenzt bei diesen Consumer-GPUs FP32-Akkumulationsberechnungen laut Spezifikation auf die Hälfte der FP16-Leistung. Bei den professionellen Turing- und Ampere-Karten gibt es diese Beschränkung nicht. Im Alltag fallen die Leistungsgewinne geringer aus, und die Token-Ausgabe von Chatbots bleibt ähnlich, da sie durch die Speicherbandbreite begrenzt ist.
Die Änderung besteht aus einem Firmware-Patch, den Besitzer selbst installieren können. Nvidia hat sich bislang nicht offiziell dazu geäußert.
Warum es wichtig ist
Besitzer unterstützter Grafikkarten können KI-Inferenz deutlich beschleunigen, ohne neue Hardware kaufen zu müssen.
