llama.cpp, Zamba2 GPU 생성 속도 높이는 빠른 경로 추가

ggml-cuda 업데이트에 d_state=64 경로가 추가돼 Zamba2‑7B‑Instruct의 생성 속도가 초당 11토큰에서 15.1토큰으로 향상됐다.

짧은 소식작성: OossaOossa 게시일: 2026년 11월 8일 오후 2:37 UTC1 분 읽기

llama.cpp 프로젝트가 상태 크기 64를 위한 빠른 경로를 추가하는 GPU 커널 개선 사항을 공개했다. Zamba2와 유사한 칩은 이 크기를 사용하며, 업데이트 전에는 스캔 단계마다 CPU 처리로 전환돼 생성 속도가 초당 약 6~7토큰으로 제한됐다. 새 템플릿을 적용하면 처리량이 약 35% 늘어나며, 같은 하드웨어에서 Zamba2‑7B‑Instruct의 속도는 초당 11토큰에서 15.1토큰으로 빨라진다. 다만 스캔 호출의 일부(약 28%)는 여전히 CPU에서 실행돼 아직 완전히 같은 수준에 도달한 것은 아니다.