Oossa

llama.cpp b11757, CUDA 그래프 정리 기능 추가

오픈소스 Llama 추론 라이브러리가 CUDA 그래프 처리 문제를 수정하고 macOS, iOS, Linux용 새 바이너리를 포함한 버전 b11757을 공개했습니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org 팀이 llama.cpp 버전 b11757을 출시했습니다. 이번 업데이트는 레거시 메모리 풀을 비운 뒤 CUDA 그래프를 정리해 GPU 메모리 누수를 줄일 수 있습니다. Apple Silicon용 macOS, Intel Mac용 macOS, iOS와 여러 Ubuntu 빌드(CPU, Vulkan, CUDA 12.8)의 사전 빌드 바이너리도 제공됩니다. 이번 릴리스는 GitHub에 게시됐습니다.

왜 중요한가

Nvidia GPU에서 Llama 모델을 실행하는 개발자는 이번 수정으로 메모리 부족 오류를 덜 겪게 됩니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.