2 октября 2026 года Антизер, создатель Redis, представил ds4. Это специализированный движок инференса на C, который запускает передовые модели, такие как DeepSeek V4, GLM 5.x и Qwen 3.8, на Mac с большим объёмом памяти, а также на компьютерах с CUDA или ROCm. В нём используется асимметричное 2-битное квантование, а кэш KV можно сохранять на SSD, чтобы длинные запросы переживали перезапуск. В ds4 есть интерфейс командной строки, локальный HTTP API и встроенный агент для программирования — все три инструмента используют общее состояние модели.
Почему это важно
Разработчики смогут запускать мощные языковые модели на собственном оборудовании, не обращаясь к удалённым API, что снижает задержки и риски для конфиденциальности данных.
