# llama.cpp, Zamba2 GPU 생성 속도 높이는 빠른 경로 추가

> ggml-cuda 업데이트에 d_state=64 경로가 추가돼 Zamba2‑7B‑Instruct의 생성 속도가 초당 11토큰에서 15.1토큰으로 향상됐다.

Oossa · 2026-11-08 · https://oossa.com/ko/llama-cpp-adds-fast-path-for-zamba2-gpus-boosting-token-speed

llama.cpp 프로젝트가 상태 크기 64를 위한 빠른 경로를 추가하는 GPU 커널 개선 사항을 공개했다. Zamba2와 유사한 칩은 이 크기를 사용하며, 업데이트 전에는 스캔 단계마다 CPU 처리로 전환돼 생성 속도가 초당 약 6~7토큰으로 제한됐다. 새 템플릿을 적용하면 처리량이 약 35% 늘어나며, 같은 하드웨어에서 Zamba2‑7B‑Instruct의 속도는 초당 11토큰에서 15.1토큰으로 빨라진다. 다만 스캔 호출의 일부(약 28%)는 여전히 CPU에서 실행돼 아직 완전히 같은 수준에 도달한 것은 아니다.

## 팩트

- ggml-cuda SSM_SCAN 커널에 d_state=64 빠른 경로 추가
- Zamba2‑7B‑Instruct 속도 초당 11토큰에서 15.1토큰으로 향상(약 35% 증가)

## 왜 중요한가

Zamba2 GPU를 사용하는 개발자는 추가 하드웨어 없이도 텍스트를 눈에 띄게 더 빠르게 생성할 수 있다.

## 출처 및 참고 자료

1. [ggml-org/llama.cpp b12207](https://github.com/ggml-org/llama.cpp/releases/tag/b12207) – llama.cpp, 2026-11-08

최종 업데이트: 2026-11-08