В llama.cpp добавили поддержку GQA и новые возможности токенизатора

Библиотека с открытым исходным кодом llama.cpp теперь поддерживает нестандартные модели GQA и токенизатор BPE, а также расширенный набор платформ для сборки.

ЗаметкаАвтор: OossaОпубликовано Oossa: 22 октября 2026 г. в 13:18 UTC1 мин чтения

1 источников ↓

Команда ggml‑org выпустила версию b11819 библиотеки llama.cpp 2026-10-22. Обновление добавляет поддержку нестандартных моделей GQA (группового внимания к запросам) и токенизатора BPE (кодирования пар байтов), а также новый тип domyn‑small pre-type. Кроме того, появилась обработка метаданных для схем добавления префикса Metaspace. В матрице сборок теперь указано множество целевых платформ для CPU и GPU, включая Apple Silicon, CUDA 12/13, Vulkan, ROCm и Android Snapdragon.

Почему это важно

Разработчики смогут запускать больше разновидностей больших языковых моделей, в том числе использующих GQA, на большем числе устройств — например, смартфонах и GPU.