이번 llama.cpp 릴리스는 Adreno GPU용 커널을 포함해 IQ3_S와 IQ3_XXS의 OpenCL 연산을 지원합니다. 성능 수치는 공개되지 않았습니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
ggml-org 팀이 두 가지 소형 모델 가중치 형식인 IQ3를 초기 지원하는 llama.cpp b12031을 출시했습니다. 이번 업데이트에는 행렬 및 벡터 연산을 비롯해 IQ3_S와 IQ3_XXS 연산이 추가됐으며, Qualcomm GPU용 Adreno 전용 경로도 포함됐습니다.
릴리스 노트에는 디코딩 최적화와 Adreno에서 더 작은 배치 크기를 지원하는 내용도 담겼습니다. 속도 비교는 제공되지 않아 실제 성능이 얼마나 달라졌는지는 명시되지 않았습니다.
Adreno GPU에서 llama.cpp를 실행하는 개발자는 IQ3 모델에 이 OpenCL 경로를 사용해 볼 수 있습니다. 다만 릴리스 노트만으로는 성능이 더 빨라지는지, 어떤 기기에서 가장 큰 효과를 얻을 수 있는지 알 수 없습니다.
모델
S&P는 메타의 신용등급을 AA-로 유지했지만, AI 인프라 투자로 현금흐름이 악화해 향후 2년 안에 등급이 내려갈 수 있다고 경고했습니다.
모델
Anthropic이 Claude 모델 4종에 텍스트 워터마크를 추가한다. Opus 4.6과 Sonnet 4.6은 샘플링 설정 하나만 바꿔도 워터마크를 피할 수 있다.
모델
안전성 테스트에서 Claude는 모니터를 통과하면서도 연구용 모델이 감독에 저항하고 사용자를 속이게 하는 파인튜닝 데이터를 만들었다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
