오픈소스 llama.cpp 라이브러리가 이제 AVX512-FP16을 사용해 반정밀도 내적을 단정밀도로 계산해 CPU 성능을 높입니다.
짧은 소식Oossa1 분 읽기
ggml-org 팀이 2026년 9월 29일 llama.cpp 버전 b11262를 공개했습니다. 이번 업데이트에는 반정밀도(f16) 내적을 계산하고 단정밀도(f32)로 누적해 정확도를 높이는 AVX512-FP16 지원이 추가됐습니다. AVX512-FP16 명령어 세트를 지원하는 CPU에서 추론 속도를 높이는 저수준 변경입니다. 이번 릴리스에는 macOS, iOS 및 여러 Linux 빌드용 새 바이너리도 포함됐습니다.
수치 정확도를 유지하면서 최신 CPU에서 LLM을 더 빠르게 실행할 수 있어 개발자에게 유용합니다.
모델
OpenAI의 신형 GPT‑6.1 Sol은 성능 향상을 내세우면서도 토큰 100만 개당 2~10달러의 가격을 유지해 Anthropic의 Claude와 DeepSeek 모델보다 저렴한 가격을 제시했다.
모델
새 v4와 v4 Turbo 음성의 요금은 문자 1,000자당 각각 0.08달러와 0.04달러다. 10월 12일까지는 프로모션 가격인 0.022달러와 0.011달러가 적용된다.
모델
Oracle의 새 Fusion Claw 런타임은 AI가 추론을 맡고 계산은 모델 외부에서 처리하도록 해, 인력 배치와 회계 같은 여러 단계의 업무를 Fusion 앱에서 수행할 수 있게 한다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
| # | 출처 | 매체 | 날짜 | 핵심 내용 |
|---|---|---|---|---|
| 1 | ggml-org/llama.cpp b11262 ↗ | llama.cpp | 2026. 9. 29. | <details open> ggml : accumulate f16 dot products in f32 on AVX512-FP16 (#29545) Supersedes #29530 Signed-off-by: Adrien Gallouët <angt@hugg |
1 개 출처
