llama.cpp 새 버전이 OpenCL 백엔드에 topk_mask 지원을 추가하고 여러 플랫폼용 빌드를 제공합니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
언어 모델 실행에 쓰이는 소프트웨어 llama.cpp의 새 버전 b12052를 ggml-org 팀이 공개했습니다. 주요 변경 사항은 여러 하드웨어에서 연산을 실행하는 프레임워크인 OpenCL에 “topk_mask”를 추가한 것입니다. 릴리스 페이지에는 macOS, iOS 및 여러 Linux 시스템용 빌드도 올라와 있습니다.
OpenCL로 llama.cpp를 실행하는 사용자는 top-k 마스킹을 이용할 수 있을 것으로 보입니다. 다만 릴리스 노트에는 어떤 모델이나 작업에 도움이 되는지 설명돼 있지 않습니다.
모델
매개변수 7530억 개 규모인 이 모델의 가중치는 MIT License로 공개됐다. Deep Principle은 여러 과학 평가에서 성능이 향상됐다고 밝혔지만, 전체 학습 데이터와 학습 방법은 공개하지 않았다.
모델
Google과 Meta가 함께 개발한 이 프로젝트를 이용하면 코드를 크게 바꾸지 않고도 Google 칩에서 PyTorch 작업을 실행할 수 있다. vLLM, Hugging Face 같은 도구도 지원한다.
모델
NemotronLabs RE-USE는 잡음과 울림, 음성 손상 등을 줄이는 오픈 모델이다. 엔비디아는 일부 평가에서 더 큰 모델보다 높은 점수를 냈다고 밝혔다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
