Команда ggml-org выпустила llama.cpp версии b11710 — новую сборку открытого ПО для запуска языковых моделей. В списке изменений указано объединение grouped-expert top-k для CUDA — платформы для вычислений на видеокартах; также добавлены тесты и исправление, связанное с HIP.
На странице релиза доступны сборки для нескольких систем, включая macOS, iOS и Linux. В релизе нет результатов тестов производительности и данных о том, насколько изменение влияет на скорость или использование памяти.
Почему это важно
Разработчики, использующие CUDA с моделями на основе сгруппированных экспертов, могут опробовать новую реализацию, однако примечания к релизу не подтверждают, что она действительно повышает производительность.
