ggml-org 팀이 WebGPU 백엔드에 Q2_0 지원을 추가한 llama.cpp b11809를 출시했다. 릴리스 노트에 따르면 이번 변경에는 행 역양자화와 행렬 곱셈이 모두 포함된다. 속도, 하드웨어 호환성, 메모리 사용량에 관한 결과는 공개되지 않아 실제 성능에 어떤 영향을 미칠지는 알 수 없다.
왜 중요한가
WebGPU로 llama.cpp를 사용하는 개발자는 Q2_0 모델을 시험해 볼 수 있지만, 릴리스 노트에는 특정 기기에서 얼마나 원활하게 실행될지에 대한 정보가 없다.