NVIDIA добавила на Hugging Face новую большую языковую модель Dory1.0‑4B. В ней 4 млрд параметров, а длина контекста достигает 256 K токенов. Модель использует циклическую архитектуру (latent-recurrent), которая позволяет менять вычислительные затраты ради точности без повторного обучения. Доступно несколько форматов, в том числе BF16 и 4‑битный NVFP4. Модель можно использовать в коммерческих и некоммерческих проектах по лицензии OpenMDW‑1.1.
Почему это важно
Разработчики могут запускать одну модель на 4 млрд параметров на оборудовании разного уровня, поддерживая при этом очень длинные запросы. Это уменьшает потребность в нескольких специализированных моделях.
