Oossa

llama.cpp b11710, CUDA 전문가 융합 기능 추가

이번 버전은 테스트와 HIP 관련 조정을 포함해 CUDA용 그룹 전문가 top-k 융합 기능을 추가했습니다. 플랫폼별 빌드도 제공합니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org 팀이 언어 모델 실행용 오픈소스 소프트웨어의 새 버전인 llama.cpp b11710을 출시했습니다. 이번 버전에는 그래픽카드 컴퓨팅 플랫폼인 CUDA용 그룹 전문가 top-k 융합 기능이 추가됐으며, 테스트와 HIP 관련 조정도 포함됐습니다.

릴리스 페이지에서는 macOS, iOS, Linux 등 여러 시스템용 다운로드를 제공합니다. 벤치마크 결과는 공개하지 않았으며, 이번 변경이 속도나 메모리 사용량에 얼마나 영향을 미치는지도 밝히지 않았습니다.

왜 중요한가

그룹 전문가 모델을 CUDA로 사용하는 개발자는 새 구현을 시험해볼 수 있지만, 릴리스 노트만으로는 실제 성능이 개선되는지 확인할 수 없습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.