Oossa

llama.cpp b11895, Metal 오프셋 오버플로 수정

ggml-org가 Metal 행렬 연산의 오프셋과 토큰 인덱스 범위를 넓혀 대규모 행렬 출력에서 발생하는 오버플로를 해결했습니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org가 Metal에서 대규모 행렬 출력 오프셋이 오버플로되는 문제를 수정한 llama.cpp b11895를 출시했습니다. 이번 변경으로 MUL_MAT_ID 연산에 사용되는 배치 오프셋과 토큰 인덱스의 범위도 넓어졌습니다.

릴리스 페이지에서 Apple Silicon 및 Intel Mac, iOS, 여러 Ubuntu CPU 및 Vulkan 빌드를 내려받을 수 있습니다.

왜 중요한가

Metal에서 llama.cpp를 실행하는 개발자는 대규모 행렬 출력의 오프셋 오버플로를 피할 수 있습니다. 다만 릴리스 노트에는 이 문제가 얼마나 자주 발생했는지, 어떤 작업에서 나타나는지는 나와 있지 않습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.