Oossa

llama.cpp b11494, CUDA 워프 최적화 추가

오픈소스 Llama.cpp 라이브러리가 CUDA 워프당 GDN 상태 열을 4개 사용해 GPU 성능을 높입니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml‑org 팀이 llama.cpp 버전 b11494를 공개했습니다. 이번 업데이트에서는 CUDA 백엔드가 워프당 GDN 상태 열을 2개 대신 4개 할당하도록 변경했습니다. 이제 이 설정이 기본값입니다. macOS(Apple Silicon 및 Intel), iOS, 여러 Ubuntu 빌드용 바이너리를 다운로드할 수 있습니다.

왜 중요한가

NVIDIA GPU에서 llama.cpp를 사용하는 개발자는 코드를 변경하지 않고도 추론 속도 향상을 기대할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.