Библиотека llama.cpp, которую поддерживает ggml‑org, выпустила версию b11597 13 октября 2026 года. Обновление меняет вычислительный граф: если контекст извлекает усреднённые эмбеддинги, модель больше не строит большой слой логитов LM‑головы. Это снижает расход памяти и ускоряет инференс в задачах, где нужны только эмбеддинги. Также скорректированы связанные узлы графа, чтобы сохранить согласованность размерностей.
Почему это важно
Разработчики смогут быстрее запускать модели llama.cpp для извлечения эмбеддингов и использовать для этого менее мощное оборудование.
