이번 llama.cpp 릴리스에서는 Hexagon의 VTCM 크기를 직접 지정할 수 있습니다. 값에는 K, M, G 단위를 붙일 수 있습니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
ggml-org 팀이 공개한 llama.cpp b11913에는 Hexagon 백엔드가 사용하는 메모리 자원인 VTCM의 크기를 재정의하는 설정이 추가됐습니다. 설정 이름은 `GGML_HEXAGON_VTCM_SIZE`이며, 값 뒤에 K, M, G를 붙일 수 있습니다.
릴리스 노트에 따르면 `NTHREADS` 상한을 두자는 제안은 이후 반영되지 않았습니다. VTCM 기본 크기나 이번 변경이 성능에 미치는 영향은 설명하지 않았습니다.
Hexagon 하드웨어에서 llama.cpp를 실행하는 사용자는 VTCM 크기를 직접 지정할 수 있습니다. 다만 릴리스 노트에는 어떤 값을 사용해야 하는지, 성능이 개선되는지는 나와 있지 않습니다.
모델
Baidu는 수백 페이지 분량의 문서를 한 번의 요청으로 읽을 수 있다고 밝힌 30억 매개변수 모델 Unlimited OCR 2를 MIT 라이선스로 공개했다.
모델
저자들은 로컬 에이전트 작업을 위한 74B-A9B 비전·언어 모델을 소개하며, RTX Spark에서 84 TPS를 기록했고 비슷한 규모의 경쟁 모델보다 정확도가 높다고 밝혔습니다.
모델
AWS는 이 모델을 Bedrock에서 정식 제공한다고 밝혔습니다. 텍스트와 이미지를 입력할 수 있고, 최대 1 million 토큰의 컨텍스트 창을 지원하며, 두 모델보다 가격이 낮습니다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
