오픈소스 LLM 런타임이 양자화된 K/V 데이터에 Vulkan 기반 희소 플래시 어텐션 모드를 지원합니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
ggml‑org 팀은 2026년 10월 5일 llama.cpp 버전 b11413을 공개했습니다. 이번 업데이트에는 양자화된 키/값 텐서에서 작동하는 Vulkan 구현의 희소 플래시 어텐션이 추가됐습니다. 이 기능은 “양자화 K/V용 희소 플래시 어텐션”으로 소개됐으며, GPU 가속 추론을 겨냥합니다. 릴리스에는 Apple Silicon 탑재 macOS부터 CUDA와 Vulkan을 지원하는 Windows까지 다양한 플랫폼용 빌드도 포함돼 있습니다.
이제 개발자는 Vulkan을 지원하는 GPU에서 양자화 모델을 더 빠르게 실행할 수 있어 엣지 기기의 연산 비용을 낮출 수 있습니다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
모델
새로운 Forest Typology 2020 지도는 10미터 단위로 전 세계 토지를 자연림, 조림지, 농업용 산림 등으로 분류하고, 2017~2025년 연도별 변화를 보여준다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
