Ollama가 버전 0.40.17-rc0을 발표했다. 이번 업데이트는 Vulkan GPU의 mmap을 지원해 모델이 GPU 메모리를 더 효율적으로 사용할 수 있게 한다. MLX 백엔드에서는 텍스트 동시 생성 기능이 추가됐으며, 충돌 후 ChatGPT 명령줄 인터페이스가 복구되는 방식도 개선됐다. llama.cpp 라이브러리는 커밋 b12257로 업데이트됐고, 새 기여자가 처음으로 풀 리퀘스트를 제출했다.
왜 중요한가
호환되는 GPU에서 개발자가 더 큰 모델을 빠르게 실행할 수 있어 로컬 AI 애플리케이션의 지연 시간을 줄일 수 있다.