Команда ggml-org выпустила llama.cpp версии b12329. В неё вошла оптимизация CUDA: обработка весовых коэффициентов объединена с операциями записи при умножении матриц, что ускоряет работу с контрольными точками nvfp4. В обновлении также появились новые готовые бинарные сборки для Apple Silicon, Mac с процессорами Intel, iOS и нескольких вариантов Linux. Скачать их можно на странице релиза в GitHub.
Почему это важно
Разработчики смогут быстрее запускать модели Llama на видеокартах NVIDIA и использовать готовые бинарные сборки на большем числе платформ.
