llama.cpp b12073 릴리스는 Vulkan에서 NVFP4 데이터의 UE4M3 스케일 값을 조회하는 방식과 관련된 버그를 수정합니다. 특정 스케일 바이트 값에서는 코드가 공유 메모리 조회 테이블의 범위를 넘어 읽을 수 있었습니다. 테이블에는 항목이 128개뿐이었지만 원시 바이트는 256개 값을 나타낼 수 있었기 때문입니다.
이번 수정으로 테이블과 메모리 할당량을 256개 항목에 맞게 늘렸습니다. 각 NVFP4 파이프라인은 공유 메모리를 512 bytes 더 사용합니다. 릴리스 노트에 따르면 llama.cpp로 양자화한 모델은 변환 코드가 범위 밖 조회를 유발하는 비트를 설정하지 않으므로 영향을 받지 않습니다.
왜 중요한가
릴리스 노트에 따르면 Vulkan에서 NVFP4 작업을 실행하는 사용자는 범위 밖 조회 문제를 피할 수 있으며, llama.cpp로 양자화한 모델은 이 버그의 영향을 받지 않습니다.
