Oossa

llama.cpp b11800, 퓨즈드 top-k 마스킹 연산 추가

오픈소스 추론 라이브러리에 QSA 마스킹용 퓨즈드 연산이 새로 추가돼 일부 모델의 성능이 향상됩니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org llama.cpp 프로젝트가 2026-10-21 버전 b11800을 출시했습니다. 이번 업데이트에는 QSA, DSA, DeepSeek V4 CSA 모델에서 사용할 수 있는 퓨즈드 top-k 마스킹 연산(ggml_top_k_mask)이 추가됐습니다. 이 연산은 직접 작성한 마스킹 코드를 하나의 노드로 대체해 선택되지 않은 셀을 –inf로 설정합니다. 헤드별로 작동하며, 선택적으로 점수와 블록 크기, 추가 셀을 처리할 수 있습니다.

왜 중요한가

라이브러리가 마스킹을 한 번의 최적화된 연산으로 처리하므로, 개발자는 지원되는 모델을 더 빠르게 실행할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.