Oossa

llama.cpp, Vulkan GPU 유지 시간 설정 추가

오픈소스 llama.cpp 라이브러리(v b12363)에 Vulkan 백엔드가 GPU를 지정한 시간 동안 활성 상태로 유지하는 기능이 추가돼, 반복적인 추론 호출이 한결 수월해집니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org 팀이 2026년 11월 13일 llama.cpp 버전 b12363을 출시했습니다. 이번 업데이트에는 Vulkan 백엔드에 선택형 디바이스 유지 시간 설정이 추가돼, GPU가 종료되기 전까지 활성 상태로 유지되는 시간을 지정할 수 있습니다. 디바이스 소유권을 백엔드로 옮기고 코드를 간소화한 변경입니다. macOS와 iOS, 여러 Ubuntu 버전용 사전 빌드 바이너리도 포함됐습니다.

왜 중요한가

개발자는 GPU를 다시 초기화하는 데 드는 비용 없이 모델을 반복 호출할 수 있어, 로컬 AI 앱의 응답 속도를 높일 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.