Oossa

llama.cpp ускорила работу на Volta, включая Tesla V100

Небольшое изменение направляет Volta (sm_70) к таблице MMVQ для Turing. На Tesla V100 это дало прирост скорости около 3% без изменения результатов.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

2 октября 2026 года проект llama.cpp выпустил небольшое обновление CUDA. Теперь GPU Volta (sm_70) используют ту же таблицу настройки MMVQ, что и GPU Turing. На Tesla V100 32 GB изменение повысило пропускную способность примерно на 3 % при работе с моделью Qwen3.8‑27B. Качество вывода, измеренное по показателю perplexity, не изменилось. Патч внесли anyei и соавторы.

Почему это важно

Пользователи llama.cpp на GPU V100 смогут запускать модели немного быстрее без потери точности.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.