오픈소스 LLM 런타임에 모델 데이터를 직접 매핑하는 기능이 추가돼 macOS, iOS, Linux 빌드에서 RAM 사용량을 줄일 수 있다.
짧은 소식OossaOossa 게시일: 1 분 읽기
ggml‑org 팀이 llama.cpp 버전 b11324를 출시했다. 이번 업데이트에는 모델을 불러올 때 각 텐서의 전체 크기만큼 복사본을 하나 더 만들지 않도록 하는 메모리 매핑 모드가 추가됐다. 이 기능은 macOS(Apple Silicon 및 Intel), iOS와 여러 Ubuntu 빌드용 새 바이너리 패키지에서 사용할 수 있다. 이번 릴리스에는 Claude와 NVIDIA 엔지니어 Pranesh Gonegandla의 기여도 포함됐다.
개발자는 같은 하드웨어에서 더 큰 언어 모델을 실행할 수 있어, 메모리가 제한적인 취미 개발자와 소규모 팀에 도움이 된다.
최종 업데이트: ·Markdown
모델
저시력 사용자를 위한 Guided Vision이 Android 휴대전화에 출시됩니다. 카메라에 비친 내용을 음성으로 설명합니다.
모델
테스트 참가자 거의 절반이 새 AI 영상 아바타를 실제 사람으로 생각했다. 이전 시스템보다 훨씬 높은 비율이다.
모델
두 회사는 Synopsys 설계 도구를 다루는 GPT-Synopsys를 개발할 계획이다. 초기 고객 기술 협력은 진행 중이지만, 일반 출시 일정은 공개되지 않았다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
