VideoCardzによると、改造者がNvidiaのRTX 20、30、40シリーズに組み込まれたAI処理の速度制限を解除するファームウェアの脆弱性を公開した。この解除により、RTX 4090は公称ピークのテンソル演算性能が2倍になり、RTX 3090 Tiは行列演算速度が最大80%向上する。Nvidiaの仕様では、これらのコンシューマー向けGPUのFP32累算演算性能はFP16の半分に制限されている。プロ向けのTuringおよびAmpereカードには、この制限はない。実際の用途での向上幅はこれより小さく、チャットボットのトークン生成速度も、メモリ帯域幅がボトルネックとなるため、ほぼ変わらない。
この変更は、ユーザーが自分で適用できるファームウェアパッチによるものだ。Nvidiaは公式なコメントを発表していない。
なぜ重要か
対応カードを持つユーザーは、新しいハードウェアを購入せずに、AI推論を大幅に高速化できる可能性がある。