Команда ggml-org выпустила llama.cpp версии b12074, внеся изменения в состояние свертки delta-net. Теперь индекс слота отката задается на хосте как входное значение типа I32, вместо того чтобы вычисляться на устройстве с помощью операций arange и argsort.
В примечаниях к выпуску говорится, что индекс постоянен для каждой формы графа, а изменение избавляет бэкенд метаданных от необходимости зеркально повторять разделение для arange. Измеренных улучшений скорости или использования памяти не приводится.
Почему это важно
При запуске моделей llama.cpp, использующих delta-net, пользователи могут заметить изменение внутреннего расчета. Однако в примечаниях к выпуску не сказано, дает ли оно практический прирост производительности.
