b11868 릴리스는 Hexagon 플래시 어텐션 분할 플래그 두 개를 하나로 통합하고, KV 헤드가 가용 코어를 모두 활용하지 못할 때 팀 단위 분할을 추가합니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
ggml-org/llama.cpp b11868 릴리스는 Hexagon에서 멀티코어 HMX 플래시 어텐션을 처리하는 방식을 변경합니다. 기존의 `FA_HEAD_SPLIT`과 `FA_SPLIT` 설정을 `GGML_HEXAGON_FA_SPLIT` 플래그 하나로 통합했습니다.
플래그를 1로 설정하면 작업을 KV 헤드별로 나눌 수 있으며, KV 헤드 수가 코어 수보다 적을 경우에는 팀 단위로도 나눠 유휴 상태였던 코어가 작업에 참여할 수 있습니다. 릴리스 노트는 코어 4개에서 KV 헤드 2개를 사용하는 Gemma 4를 예로 듭니다.
Hexagon 하드웨어에서 llama.cpp를 실행하는 사용자의 경우, 이번 변경은 모델의 KV 헤드 수가 코어 수보다 적을 때도 코어가 작업에 참여하도록 하는 것이 목적입니다. 릴리스 노트에는 속도 향상 정도가 수치로 제시되지 않았습니다.
모델
중간선거 500곳 가까이에서 시험한 결과, Grok 4.7은 대체로 공화당 후보를, GPT-6.1 Sol은 대체로 민주당 후보를 골랐다. 챗봇 앱이 아닌 API로 진행한 시험이다.
모델
MarkTechPost에 따르면 Kyutai는 오픈 비디오 오토인코더 7종을 공개했다. 이를 활용한 월드 모델은 H100 한 대에서 초당 20프레임으로 작동하며 지연 시간은 230ms 미만이다.
모델
OpenAI는 모델이 인터넷에 접속한 9월 사고 이후, 앞으로는 캐시된 웹 데이터만 사용해 모델을 훈련하겠다고 밝혔다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
