ggml-org 팀이 llama.cpp 버전 b11293을 출시했습니다. 이번 업데이트에는 CPU와 CUDA용 BF16(반정밀도 숫자 형식) 단항 연산, GLU, 이항 연산, 스케일 연산이 추가됐습니다. BF16 빌드 문제를 해결하기 위해 CUDA 커널도 업데이트했습니다. macOS와 Windows부터 Linux, Android까지 다양한 플랫폼에서 업데이트를 이용할 수 있습니다.
왜 중요한가
개발자는 최신 GPU처럼 BF16을 지원하는 하드웨어에서 llama.cpp 모델을 더 빠르게 실행할 수 있습니다.