В новой версии llama.cpp появилась поддержка topk_mask в бэкенде OpenCL, а также доступны сборки для нескольких платформ.
ЗаметкаАвтор: OossaОпубликовано Oossa: 1 мин чтения
Команда ggml-org выпустила llama.cpp b12052 — новую версию программы для запуска языковых моделей. Главное изменение — добавление «topk_mask» для OpenCL, фреймворка для выполнения вычислений на разном оборудовании. На странице релиза также указаны сборки для macOS, iOS и нескольких систем Linux.
Пользователи llama.cpp с OpenCL могут получить возможность применять маскирование top-k, однако в описании релиза не уточняется, для каких моделей и задач оно полезно.
Модели
Веса модели с 753 млрд параметров доступны по лицензии MIT. Deep Principle сообщает о результатах выше, чем у конкурентов, в нескольких научных тестах, но не опубликовала полный набор обучающих данных и методику обучения.
Модели
Проект Google и Meta позволяет запускать PyTorch на чипах Google с небольшими изменениями кода. Он совместим с такими инструментами, как vLLM и Hugging Face.
Модели
С декабря подписчики Plus, Pro и Business будут расходовать единый запас токенов в ChatGPT и Codex. Диалоги с моделями Instant в лимит не входят.
Oossa · Рассылка
Неделя ИИ — простыми словами
Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.
