Oossa

llama.cpp, BF16 지원 및 새 연산 추가

오픈소스 llama.cpp 라이브러리에 BF16 자료형 연산과 GLU가 추가돼 CPU와 CUDA 성능이 향상됩니다.

짧은 소식OossaOossa 게시일: 1 분 읽기

ggml-org 팀이 llama.cpp 버전 b11293을 출시했습니다. 이번 업데이트에는 CPU와 CUDA용 BF16(반정밀도 숫자 형식) 단항 연산, GLU, 이항 연산, 스케일 연산이 추가됐습니다. BF16 빌드 문제를 해결하기 위해 CUDA 커널도 업데이트했습니다. macOS와 Windows부터 Linux, Android까지 다양한 플랫폼에서 업데이트를 이용할 수 있습니다.

왜 중요한가

개발자는 최신 GPU처럼 BF16을 지원하는 하드웨어에서 llama.cpp 모델을 더 빠르게 실행할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.