Oossa

llama.cpp, Hexagon 버퍼 지원 추가하고 기본 용량 확대

오픈소스 llama.cpp 라이브러리에서 Hexagon 기기가 대형 텐서를 여러 버퍼로 나눠 저장할 수 있게 됐으며, 기본 동적 버퍼 크기는 512 MB로 늘었다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

llama.cpp 프로젝트가 2026‑10‑08 버전 b11490을 공개했다. 이번 버전은 Hexagon의 "alloc_buffer_n" API를 지원해 대형 텐서를 여러 버퍼로 나눌 수 있다. 대형 모델에서 성능이 떨어지는 현상을 막기 위해 기본 동적 버퍼 크기도 128 MB에서 512 MB로 늘렸다. 임베딩 오프로드를 지원하지 않는 기기에서 명령줄을 간소화하는 새 플래그 "--no-embd-offload"도 추가됐다. 이번 변경에는 Jhen‑Jie Hong도 공동 작성자로 참여했다.

왜 중요한가

Hexagon 기반 하드웨어를 사용하는 개발자는 버퍼 크기를 수동으로 조정하지 않고도 더 큰 언어 모델을 효율적으로 실행할 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.