Модификаторы выпустили способ обойти встроенное в видеокарты Nvidia серий RTX 20, 30 и 40 ограничение для ИИ с помощью уязвимости прошивки, сообщает VideoCardz. После снятия ограничения пиковая пропускная способность тензорных вычислений RTX 4090 достигает заявленного уровня, увеличиваясь вдвое, а скорость матричных вычислений RTX 3090 Ti может вырасти до 80%. В характеристиках этих потребительских видеокарт Nvidia ограничила скорость операций с накоплением FP32 половиной скорости FP16 — такого лимита нет у профессиональных карт Turing и Ampere. В реальных задачах прирост меньше, а скорость генерации токенов чат-ботами остаётся примерно прежней, поскольку её ограничивает пропускная способность памяти.
Изменение представляет собой патч прошивки, который владельцы могут установить самостоятельно; Nvidia официально не прокомментировала ситуацию.
Почему это важно
Владельцы поддерживаемых видеокарт могут заметно ускорить инференс ИИ без покупки нового оборудования.
