Команда ggml-org выпустила llama.cpp b11848 — новую версию программного обеспечения с открытым исходным кодом. В списке изменений указана возможность выполнять загрузки параллельно в нескольких процессах.
На странице выпуска доступны сборки для macOS, iOS и Linux, в том числе варианты с поддержкой CPU и Vulkan для некоторых систем Linux. В описании не уточняется, какие именно загрузки затронуты и насколько изменится их скорость.
Почему это важно
Тем, кто запускает несколько процессов llama.cpp, это изменение может позволить загружать данные одновременно. В примечаниях к выпуску не уточняется, какие сценарии затронуты и как это повлияет на работу.
