Oossa

Обновление llama.cpp для Vulkan исправляет обработку бесконечностей и NaN в top‑k

В релизе от 8 октября 2026 года исправлена ошибка Vulkan, из-за которой расчёты top‑k с бесконечностями или значениями NaN приводили к сбоям и неверным результатам.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Библиотека llama.cpp с открытым исходным кодом выпустила версию b11505 2026-10-08. Обновление исправляет ошибку в шейдере Vulkan при выполнении операции top‑k. Раньше значения +inf и NaN игнорировались, что могло приводить к зависаниям на графических процессорах NVIDIA или неверным индексам на графических процессорах AMD. Исправление преобразует NaN в -inf, расширяет диапазон корзин, чтобы учитывались все значения, и корректирует обработку случая k = 1 для отрицательных чисел. Для проверки этих сценариев добавлен новый тест test_top_k_inf.

Почему это важно

Разработчики, использующие llama.cpp с Vulkan, столкнутся с меньшим числом сбоев и получат более точные результаты ранжирования токенов, если в их промптах встречаются экстремальные значения с плавающей запятой.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.