오픈소스 LLaMA 추론 라이브러리가 BF16 연산을 지원해 여러 백엔드의 성능을 높입니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
ggml-org 팀이 llama.cpp 버전 b12202를 출시했습니다. 이번 버전은 주요 행렬 곱셈에 BF16(brain floating point 16비트) 정밀도 지원을 추가했습니다. 참조 구현과 동일한 방식으로 작동하며, 이제 CUDA, Vulkan, OpenCL, Hexagon을 비롯한 여러 백엔드에서 사용할 수 있습니다. 플래시 어텐션 테스트에서도 기존 F32 모드와 함께 BF16을 지원합니다.
개발자는 최신 GPU처럼 BF16에 최적화된 하드웨어에서 LLaMA 모델을 더 빠르게 실행할 수 있습니다.
모델
문서·이미지 이해 평가에서 Claude Opus 5보다 높은 점수를 냈다. API는 2주간 무료지만 이후 요금과 가중치 공개 계획은 미정이다.
모델
클로드를 활용해 첫 구조 모델을 34시간 만에 만들었다고 앤트로픽은 밝혔다. 볼트의 생물학적 기능은 여전히 밝혀지지 않았다.
모델
젠틀몬스터와 워비파커가 각자 디자인한 AI 안경을 예약 판매합니다. 12월 출시 예정이며 가격은 공개되지 않았습니다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
