Oossa

llama.cpp, delta-net 인덱스 계산을 호스트로 옮겨

b12074 버전은 delta-net의 컨볼루션 상태 처리 방식을 바꿔, 롤백 슬롯 인덱스를 디바이스에서 계산하는 대신 호스트에서 전달합니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org 팀이 delta-net 컨볼루션 상태 처리 방식을 변경한 llama.cpp 버전 b12074를 공개했습니다. 이번 업데이트에서는 롤백 슬롯 인덱스를 디바이스에서 arange와 argsort 연산으로 만드는 대신, 호스트에서 채운 I32 입력값으로 전달합니다.

릴리스 노트에 따르면 이 인덱스는 그래프 형태마다 일정하며, 이번 변경으로 메타데이터 백엔드가 arange용 분할을 복제할 필요가 없어졌습니다. 측정된 속도나 메모리 개선 효과는 공개되지 않았습니다.

왜 중요한가

delta-net을 사용하는 llama.cpp 모델을 실행하는 경우 내부 계산 방식이 달라질 수 있지만, 릴리스 노트만으로는 실제 성능이 개선되는지 확인할 수 없습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.