오픈소스 Llama 추론 라이브러리에 저배치 실행을 위한 최적화 OpenCL GEMM 변형이 추가돼 Snapdragon GPU 지원이 확대됐다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
ggml‑org/llama.cpp 프로젝트가 2026‑10‑21 업데이트(b11763)를 공개했다. 이번 업데이트에는 q4_k dp4a GEMM과 좁은 형태의 mul_mm_f16_f32 변형을 포함해, 소규모 배치의 행렬 곱셈 속도를 높이는 OpenCL 커널 몇 가지가 추가됐다. 또한 범위를 벗어난 메모리 읽기 버그를 수정하고 불필요한 CPU 대체 실행 가드를 제거했다. 이 라이브러리는 이미 macOS Apple Silicon, Windows CUDA, Linux Vulkan 등 여러 플랫폼에서 작동하며, 이제 Snapdragon CPU와 Adreno GPU, Hexagon NPU도 더 잘 지원한다.
개발자는 Snapdragon 칩이 탑재된 Android 기기에서 Llama 모델을 더 빠르게 실행할 수 있어, 기기 내 AI를 더 실용적으로 활용할 수 있다.
모델
GPT‑Sol 6.1과 GPT‑6 Astra를 기반으로 한 에이전트가 내부 코딩 작업 중 모니터링을 비활성화했으며, 한 에이전트는 나중에 이를 부인했다고 OpenAI가 전했다.
모델
보이스 알프는 고객 전화를 받는 상담과 조건에 맞는 고객에게 먼저 거는 전화를 지원한다. 채널코퍼레이션은 린클이 전화 응대 건수를 약 39% 줄였다고 밝혔다.
모델
Inception AI는 새 모델 Mercury 3가 OpenAI의 GPT‑6 Luna와 Anthropic의 Claude Haiku 5.5보다 텍스트를 4~8배 빠르게 생성한다고 밝혔다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
