ggml-org 팀이 언어 모델 실행용 오픈소스 소프트웨어의 새 버전인 llama.cpp b11710을 출시했습니다. 이번 버전에는 그래픽카드 컴퓨팅 플랫폼인 CUDA용 그룹 전문가 top-k 융합 기능이 추가됐으며, 테스트와 HIP 관련 조정도 포함됐습니다.
릴리스 페이지에서는 macOS, iOS, Linux 등 여러 시스템용 다운로드를 제공합니다. 벤치마크 결과는 공개하지 않았으며, 이번 변경이 속도나 메모리 사용량에 얼마나 영향을 미치는지도 밝히지 않았습니다.
왜 중요한가
그룹 전문가 모델을 CUDA로 사용하는 개발자는 새 구현을 시험해볼 수 있지만, 릴리스 노트만으로는 실제 성능이 개선되는지 확인할 수 없습니다.