ggml-org가 Metal에서 대규모 행렬 출력 오프셋이 오버플로되는 문제를 수정한 llama.cpp b11895를 출시했습니다. 이번 변경으로 MUL_MAT_ID 연산에 사용되는 배치 오프셋과 토큰 인덱스의 범위도 넓어졌습니다.
릴리스 페이지에서 Apple Silicon 및 Intel Mac, iOS, 여러 Ubuntu CPU 및 Vulkan 빌드를 내려받을 수 있습니다.
왜 중요한가
Metal에서 llama.cpp를 실행하는 개발자는 대규모 행렬 출력의 오프셋 오버플로를 피할 수 있습니다. 다만 릴리스 노트에는 이 문제가 얼마나 자주 발생했는지, 어떤 작업에서 나타나는지는 나와 있지 않습니다.