Oossa

llama.cpp, 추측 디코딩 중 토큰 로그 확률 지원

오픈소스 Llama.cpp 라이브러리가 추측 디코딩 사용 시 토큰별 로그 확률을 반환합니다. master 브랜치의 회귀 버그도 수정했습니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml‑org/llama.cpp 프로젝트가 2026-10-21에 버전 b11776을 출시했습니다. 이번 업데이트로 토큰을 미리 예측해 생성 속도를 높이는 기법인 추측 디코딩을 실행할 때 로그 확률(logprobs)을 반환할 수 있게 됐습니다. 추측 디코딩을 사용하지 않은 실행 결과와 새 로그 확률 값이 일치하는지 확인하는 회귀 테스트도 추가했습니다. 이번 수정으로 master 브랜치에서 로그 확률 데이터가 비어 있던 버그가 해결됐습니다.

왜 중요한가

개발자는 빠른 추측 디코딩을 사용할 때 토큰별 신뢰도 점수를 확인할 수 있어, 생성 품질을 디버깅하고 개선하는 데 도움이 됩니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.