ggml-org 팀이 공개한 llama.cpp b11866은 혼합 전문가 모델에 사용되는 Metal 행렬 곱셈 커널에서 2의 거듭제곱 재스케일링 단계를 제거했다. 프로젝트 측은 연산 그래프에서 전문가 토큰별 스케일링을 적용해 연산이 시작되기 전에 하향 투영 활성값이 f16이 지원하는 범위 안에 들어오도록 했다고 밝혔다.
이번 변경으로 2단계 축소 커널과 해당 커널의 스크래치 버퍼, f32 디스패치 경로도 제거됐다. f16 범위를 벗어나는 입력에 대한 테스트도 함께 삭제됐다. 릴리스에는 Apple Silicon macOS를 비롯한 여러 플랫폼용 빌드가 포함됐으며, 속도나 정확도 측정 결과는 제시되지 않았다.
왜 중요한가
Metal에서 혼합 전문가 모델을 실행하는 llama.cpp 사용자는 이제 연산 그래프 앞부분에서 수행되는 스케일링에 의존하게 된다. 이번 릴리스는 속도나 출력 품질이 달라지는지는 밝히지 않았다.
