Oossa

llama.cpp b12122, NVFP4용 CUDA 연산 융합 기능 추가

이번 릴리스는 저정밀 숫자 형식인 NVFP4에서 모델 연산 두 단계를 하나의 CUDA 경로로 결합합니다. 여러 플랫폼용 빌드를 제공합니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

llama.cpp 프로젝트가 b12122 버전을 출시했습니다. 이번 버전에는 MMQ 행렬 곱셈 경로에서 NVFP4 게이트/업 행렬 곱셈과 GLU 연산을 융합하는 CUDA 최적화가 추가됐습니다. NVFP4는 일부 AI 연산에 쓰이는 소형 숫자 형식입니다. 연산 단계를 결합하면 별도로 처리해야 하는 작업을 줄일 수 있지만, 릴리스 노트에는 성능 측정 결과가 공개되지 않았습니다.

이번 릴리스에는 x64, Arm64, s390x용 Ubuntu 빌드와 macOS 및 iOS용 다운로드 빌드도 포함됩니다.

왜 중요한가

CUDA에서 지원되는 NVFP4 작업을 실행하는 사용자는 융합 연산 경로를 이용할 수 있지만, 릴리스 노트에는 속도나 메모리 사용량 개선 폭이 공개되지 않았습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.