Ollama выпустила v0.40.5-rc0 — предварительную версию локального ИИ-ПО. В обновлении пользовательские ядра, ранее работавшие с графической технологией Apple Metal, перенесли на CUDA — платформу NVIDIA для вычислений на GPU.
Кроме того, совместимый с OpenAI API Responses теперь принимает пользовательские вызовы инструментов в истории диалога. В примечаниях к выпуску не приводятся данные о производительности и не указано, когда выйдет финальная версия v0.40.5.
Почему это важно
Для пользователей Ollama с видеокартами NVIDIA перенос на CUDA может сделать эти пользовательские ядра доступными на их оборудовании. Однако в примечаниях нет данных о производительности и подтверждения, какие изменения войдут в финальную версию.
