ggml-org 팀이 delta-net 컨볼루션 상태 처리 방식을 변경한 llama.cpp 버전 b12074를 공개했습니다. 이번 업데이트에서는 롤백 슬롯 인덱스를 디바이스에서 arange와 argsort 연산으로 만드는 대신, 호스트에서 채운 I32 입력값으로 전달합니다.
릴리스 노트에 따르면 이 인덱스는 그래프 형태마다 일정하며, 이번 변경으로 메타데이터 백엔드가 arange용 분할을 복제할 필요가 없어졌습니다. 측정된 속도나 메모리 개선 효과는 공개되지 않았습니다.
왜 중요한가
delta-net을 사용하는 llama.cpp 모델을 실행하는 경우 내부 계산 방식이 달라질 수 있지만, 릴리스 노트만으로는 실제 성능이 개선되는지 확인할 수 없습니다.