ggml-org 팀이 llama.cpp b12024를 공개했습니다. 이번 릴리스에서는 LFM-SC의 행렬 곱셈 작업을 재구성해 3D 텐서 대신 2D 텐서를 사용하도록 바꿨습니다. 릴리스 페이지에는 macOS, iOS와 CPU·Vulkan 빌드를 포함한 여러 Linux 구성용 다운로드가 올라와 있습니다.
릴리스 노트에는 LFM-SC 변경으로 속도가 개선되는지, 다른 모델에도 영향이 있는지는 나와 있지 않습니다.
왜 중요한가
llama.cpp에서 LFM-SC를 실행하는 사용자는 새 릴리스를 시험해 볼 수 있지만, 릴리스 노트만으로는 성능 향상 여부를 알 수 없습니다.