Ollama объявила о выпуске версии 0.40.17-rc0. Обновление добавляет поддержку mmap для GPU Vulkan, благодаря чему модели эффективнее используют видеопамять. Также в бэкенде MLX появилась параллельная генерация текста, а CLI ChatGPT теперь лучше восстанавливается после сбоя. Библиотеку llama.cpp обновили до коммита b12257, а новый участник проекта впервые отправил pull request.
Почему это важно
Разработчики смогут быстрее запускать более крупные модели на совместимых GPU, снижая задержки в локальных ИИ-приложениях.
