Ollama가 로컬 AI 소프트웨어의 출시 후보 버전인 v0.40.5-rc0를 공개했다. 이번 업데이트에서는 애플의 그래픽 기술 Metal에서 사용하던 커스텀 커널을 NVIDIA의 GPU 컴퓨팅 플랫폼 CUDA로 이식했다.
또한 OpenAI 호환 Responses API가 대화 기록에 포함된 커스텀 도구 호출을 받아들이도록 했다. 릴리스 노트에는 성능 수치가 공개되지 않았으며, 정식 v0.40.5 버전의 출시 시기도 안내되지 않았다.
왜 중요한가
NVIDIA GPU를 사용하는 Ollama 이용자는 이번 CUDA 이식으로 해당 커스텀 커널을 자신의 하드웨어에서 사용할 수 있게 될 수 있다. 다만 릴리스 노트에는 성능 정보가 없고, 정식 버전에서 무엇이 달라질지도 확인되지 않았다.