Команда ggml-org выпустила llama.cpp b11866. В этой версии из ядра умножения матриц Metal, используемого моделями со смесью экспертов, убрали этап повторного масштабирования на степень двойки. По словам проекта, теперь масштабирование каждого токена эксперта в графе вычислений удерживает активации проекции вниз в пределах диапазона, поддерживаемого f16, ещё до выполнения операции.
Вместе с этим изменением удалены двухэтапные редукционные ядра, буфер для промежуточных данных и путь диспетчеризации f32, а также тесты для входных данных, выходивших за пределы диапазона f16. В релизе перечислены сборки для macOS на Apple Silicon и многих других платформ; измерения скорости или точности не приводятся.
Почему это важно
В llama.cpp для моделей со смесью экспертов, работающих на Metal, ядро теперь использует масштабирование, выполненное ранее в графе вычислений. В релизе не указано, влияет ли это на скорость или качество результатов.
