Oossa

llama.cpp b11723, 장문 컨텍스트용 FLASH_ATTN_EXT 개선

오픈소스 라이브러리 llama.cpp가 b11723을 출시했다. hexagon FLASH_ATTN_EXT를 손봐 CPU와 Vulkan에서 컨텍스트가 긴 추론의 속도를 높였다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org 팀은 2026년 10월 19일 llama.cpp 버전 b11723을 공개했다. 이번 업데이트에는 컨텍스트 윈도우가 더 길거나 SWA를 사용하는 모델을 위한 FLASH_ATTN_EXT 개선 사항과 메모리 읽기를 줄이는 마스킹 블록 건너뛰기 기능이 포함됐다. 이제 Apple Silicon 및 Intel 기반 macOS, iOS, Vulkan GPU 지원을 포함한 여러 Ubuntu 버전용 바이너리 빌드를 이용할 수 있다. 이번 변경 사항은 gemma-4 같은 모델의 성능 향상을 목표로 한다.

왜 중요한가

개발자는 데스크톱 CPU와 호환 GPU에서 더 큰 컨텍스트를 처리하는 LLM을 효율적으로 실행할 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.