llama.cpp 프로젝트가 AMD RDNA3 및 RDNA4 GPU용 HIP 빌드 문제를 수정한 버전 b11847을 공개했습니다. 이번 변경에서는 AMD 행렬 명령에 전달하는 BF16 피연산자에 16비트 `short` 벡터를 사용합니다. 값을 다른 형식으로 해석해도 비트 단위로 동일하게 유지됩니다.
릴리스 목록에는 ROCm 10.0용 Ubuntu x64 빌드가 포함돼 있습니다. 다만 사전 빌드 패키지에 이번 수정 사항이 포함됐는지는 명시하지 않아, 사용자는 업데이트된 소스 코드로 직접 빌드해야 할 수 있습니다.
왜 중요한가
명시된 AMD GPU 세대에서 HIP를 사용해 llama.cpp를 빌드하는 개발자는 이제 이 특정 컴파일 오류를 겪지 않을 것으로 보입니다. 다만 릴리스 목록에는 어떤 사전 빌드 패키지에 수정 사항이 포함됐는지 확인할 수 있는 정보가 없습니다.