2026년 9월 30일 출시 버전에서 Vulkan 타일 선택 방식을 조정해 Mixture-of-Experts 모델의 불필요한 연산을 줄였다.
짧은 소식Oossa1 분 읽기
오픈소스 llama.cpp 라이브러리에 MoE를 고려한 행렬 곱셈 관련 Vulkan 수정 사항이 추가됐다. 이번 변경으로 mat_mul_id 연산의 타일 크기를 선택하는 방식을 조정해 전문가별 실제 활성 행 수에 맞췄다. 300억 개 매개변수 모델을 대상으로 한 테스트에서는 실행 시간의 55%를 차지하던 GPU 유휴 작업이 줄었다.
GPU 유휴 시간을 줄이면 Vulkan 호환 하드웨어에서 대형 MoE 모델의 추론 속도를 높일 수 있다.
모델
OpenAI의 신형 GPT‑6.1 Sol은 성능 향상을 내세우면서도 토큰 100만 개당 2~10달러의 가격을 유지해 Anthropic의 Claude와 DeepSeek 모델보다 저렴한 가격을 제시했다.
모델
새 v4와 v4 Turbo 음성의 요금은 문자 1,000자당 각각 0.08달러와 0.04달러다. 10월 12일까지는 프로모션 가격인 0.022달러와 0.011달러가 적용된다.
모델
Oracle의 새 Fusion Claw 런타임은 AI가 추론을 맡고 계산은 모델 외부에서 처리하도록 해, 인력 배치와 회계 같은 여러 단계의 업무를 Fusion 앱에서 수행할 수 있게 한다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
| # | 출처 | 매체 | 날짜 | 핵심 내용 |
|---|---|---|---|---|
| 1 | ggml-org/llama.cpp b11265 ↗ | llama.cpp | 2026. 9. 29. | <details open> vulkan: MOE aware mat_mul_id tile selection (#29182) mut_mul_id selected its matmul tile with total token count. |
1 개 출처
