VideoCardz에 따르면 개조 개발자들이 Nvidia RTX 20·30·40 시리즈 그래픽카드에 내장된 AI 성능 제한을 해제하는 펌웨어 취약점을 공개했다. 이를 적용하면 RTX 4090의 최대 텐서 처리량은 사양상 수치의 두 배에 달하고, RTX 3090 Ti의 행렬 연산 속도는 최대 80% 빨라진다. Nvidia는 이들 소비자용 GPU에서 FP32 누산 연산 성능을 FP16의 절반으로 제한하고 있다. 전문가용 Turing 및 Ampere 카드에는 이런 제한이 없다. 실제 작업에서 성능 향상 폭은 더 작으며, 챗봇의 토큰 생성 속도는 메모리 대역폭에 발목이 잡혀 비슷한 수준을 유지한다.
이번 변경은 사용자가 직접 적용할 수 있는 펌웨어 패치다. Nvidia는 공식 입장을 내놓지 않았다.
왜 중요한가
지원되는 그래픽카드 사용자는 새 하드웨어를 구매하지 않고도 AI 추론 속도를 크게 높일 수 있다.