ggml-org 팀이 llama.cpp b11623을 출시하고, WMMA를 지원하지 않는 AMD GPU에서 2D 합성곱을 처리하는 SIMT implicit GEMM 경로를 추가했습니다. 다만 reduction 길이가 짧을 때는 이 경로를 건너뜁니다. 릴리스 노트에는 속도 향상 수치나 혜택을 받는 AMD 카드가 명시돼 있지 않습니다. macOS, iOS 및 여러 Linux 플랫폼용 빌드도 다운로드할 수 있습니다.
왜 중요한가
AMD GPU에서 llama.cpp를 사용하는 개발자는 WMMA를 사용할 수 없을 때 이 합성곱 경로를 활용할 수 있습니다. 하지만 성능에 미치는 영향과 지원 하드웨어는 릴리스 노트에서 확인할 수 없습니다.