ggml-org가 관리하는 llama.cpp 라이브러리가 Oct 13, 2026에 버전 b11597을 출시했습니다. 이번 업데이트에서는 컨텍스트에서 풀링 임베딩을 추출할 때 모델이 대규모 LM 헤드 로짓 레이어를 더 이상 생성하지 않도록 연산 그래프를 변경했습니다. 이에 따라 메모리 사용량이 줄고 임베딩 전용 작업의 추론 속도가 빨라집니다. 관련 그래프 노드도 조정해 텐서 형태가 일관되게 유지되도록 했습니다.
왜 중요한가
임베딩을 추출하는 개발자는 llama.cpp 모델을 더 빠르게, 더 적은 사양의 하드웨어에서 실행할 수 있습니다.