В новой версии библиотеки с открытым исходным кодом llama.cpp, выпущенной 2026‑10‑18, появилась поддержка SUM для несмежных тензоров. Изменение работает на бэкендах CPU, CUDA, Vulkan и WebGPU; в набор тестов также добавили проверки для таких представлений тензоров. Кроме того, расширен список готовых бинарных файлов для macOS, Linux, Android и Windows — в него входят сборки для множества аппаратных конфигураций, включая Apple Silicon, Intel, AMD, NVIDIA CUDA 12/13 и Snapdragon NPU. Ссылки на скачивание размещены на сайте проекта и в аттестациях.
Почему это важно
Разработчики смогут выполнять суммирование с меньшими затратами памяти на большем числе устройств, что может повысить производительность конвейеров инференса LLM.
