ggml-org 팀이 프로젝트에서 지원하는 모델인 Inkling2의 어텐션 마스크 처리 문제를 수정한 llama.cpp b12549를 공개했습니다. 이번 업데이트에서는 Inkling2가 동일한 셀을 바탕으로 밀집 어텐션 마스크와 상대 위치 편향을 생성하도록 전용 입력을 추가했습니다. 또 통합 캐시와 플래시 어텐션을 사용할 때 그래프를 재사용하지 못하게 했던 하이브리드 메모리 마스크 생성 문제를 해결했습니다. 이 문제는 LFM2, LFM3, Inkling2에 영향을 줬습니다. 이번 릴리스에서는 Inkling2의 전문가 가중치 스케일과 최종 로짓 소프트캡을 0으로 설정할 수도 있습니다.
왜 중요한가
llama.cpp에서 이 하이브리드 메모리 모델을 실행하는 사용자라면, 이번 수정으로 통합 캐시와 플래시 어텐션 사용 시 그래프 재사용을 막던 문제가 해결됩니다. 릴리스 노트에는 속도 향상 정도가 수치로 제시되지 않았습니다.