Oossa

Ollama, 버전 0.40.17-rc0 출시

오픈소스 AI 런타임에 GPU 메모리 매핑과 동시 생성 기능이 추가되고, ChatGPT CLI의 재시작도 개선됐다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Ollama가 버전 0.40.17-rc0을 발표했다. 이번 업데이트는 Vulkan GPU의 mmap을 지원해 모델이 GPU 메모리를 더 효율적으로 사용할 수 있게 한다. MLX 백엔드에서는 텍스트 동시 생성 기능이 추가됐으며, 충돌 후 ChatGPT 명령줄 인터페이스가 복구되는 방식도 개선됐다. llama.cpp 라이브러리는 커밋 b12257로 업데이트됐고, 새 기여자가 처음으로 풀 리퀘스트를 제출했다.

왜 중요한가

호환되는 GPU에서 개발자가 더 큰 모델을 빠르게 실행할 수 있어 로컬 AI 애플리케이션의 지연 시간을 줄일 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.