ggml-org 팀이 CUDA 변경 사항을 담은 llama.cpp b12367을 공개했습니다. 특정 GPU 아키텍처용으로 직접 컴파일하지 않은 빌드에도 SM103 SASS, 즉 GPU 기계어를 추가했습니다. 이에 따라 해당 빌드에서도 SM103 하드웨어용으로 준비된 코드를 실행할 수 있습니다.
이번 릴리스에는 macOS, iOS 및 여러 Linux 시스템용 다운로드 빌드도 포함됐습니다. 릴리스 노트에는 SM103을 사용하는 GPU가 무엇인지, 성능 결과가 어떤지는 나와 있지 않습니다.
왜 중요한가
SM103을 지원하는 Nvidia 하드웨어에서 llama.cpp를 실행하는 사용자는 해당 하드웨어용으로 직접 컴파일하지 않은 CUDA 빌드를 사용할 수 있을지 모릅니다. 다만 릴리스 노트에는 영향을 받는 GPU 모델이 명시되지 않았고 속도 변화도 측정되지 않았습니다.
