Oossa

llama.cpp b12549, Inkling2 어텐션 처리 개선

Inkling2 전용 상대 위치 어텐션 입력을 추가하고, LFM2·LFM3 등을 포함한 하이브리드 메모리 모델의 마스크 재사용 문제를 해결했습니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org 팀이 프로젝트에서 지원하는 모델인 Inkling2의 어텐션 마스크 처리 문제를 수정한 llama.cpp b12549를 공개했습니다. 이번 업데이트에서는 Inkling2가 동일한 셀을 바탕으로 밀집 어텐션 마스크와 상대 위치 편향을 생성하도록 전용 입력을 추가했습니다. 또 통합 캐시와 플래시 어텐션을 사용할 때 그래프를 재사용하지 못하게 했던 하이브리드 메모리 마스크 생성 문제를 해결했습니다. 이 문제는 LFM2, LFM3, Inkling2에 영향을 줬습니다. 이번 릴리스에서는 Inkling2의 전문가 가중치 스케일과 최종 로짓 소프트캡을 0으로 설정할 수도 있습니다.

왜 중요한가

llama.cpp에서 이 하이브리드 메모리 모델을 실행하는 사용자라면, 이번 수정으로 통합 캐시와 플래시 어텐션 사용 시 그래프 재사용을 막던 문제가 해결됩니다. 릴리스 노트에는 속도 향상 정도가 수치로 제시되지 않았습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.