Oossa

Ollama v0.40.5 후보 버전, CUDA 커널 추가

Ollama v0.40.5-rc0에는 Metal 커스텀 커널의 CUDA 이식과 Responses API의 도구 호출 기록 관련 변경 사항이 포함됐다. 정식 출시 전 후보 버전이다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Ollama가 로컬 AI 소프트웨어의 출시 후보 버전인 v0.40.5-rc0를 공개했다. 이번 업데이트에서는 애플의 그래픽 기술 Metal에서 사용하던 커스텀 커널을 NVIDIA의 GPU 컴퓨팅 플랫폼 CUDA로 이식했다.

또한 OpenAI 호환 Responses API가 대화 기록에 포함된 커스텀 도구 호출을 받아들이도록 했다. 릴리스 노트에는 성능 수치가 공개되지 않았으며, 정식 v0.40.5 버전의 출시 시기도 안내되지 않았다.

왜 중요한가

NVIDIA GPU를 사용하는 Ollama 이용자는 이번 CUDA 이식으로 해당 커스텀 커널을 자신의 하드웨어에서 사용할 수 있게 될 수 있다. 다만 릴리스 노트에는 성능 정보가 없고, 정식 버전에서 무엇이 달라질지도 확인되지 않았다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.