Kyutai выпустила CADRE — семейство из семи видеоавтоэнкодеров для интерактивных моделей мира, сообщает MarkTechPost. Согласно публикации, модели мира на основе CADRE работают со скоростью 20 кадров в секунду на одном графическом процессоре Nvidia H100 и реагируют менее чем за 230 миллисекунд.
Видеоавтоэнкодер — это модель, которая кодирует видео в более компактный формат и может затем его восстановить. Модель мира использует представление среды, чтобы создавать или предсказывать происходящее в ней. В интерактивных сценариях меньшая задержка может помочь системе быстрее реагировать на действия человека. Источник не приводит примеров конкретных применений.
Что осталось неизвестным
Приведённые показатели указаны без названий тестов, условий испытаний, разрешения видео или сравнения с другими системами. MarkTechPost не сообщает, проверялись ли скорость и время отклика независимо и относятся ли они ко всем семи моделям CADRE. Поэтому эти данные следует воспринимать как заявленные результаты, а не как всестороннее сравнение.
Источник называет CADRE открытой разработкой, но не указывает лицензию, ссылку для скачивания или инструкции по доступу. Также не уточняется, включает ли конфигурация с одной H100 другое оборудование и какого качества видео генерируют модели. Эти детали важны для тех, кто хочет понять, можно ли воспроизвести результаты или использовать модели в своём проекте.
Почему это важно
Исследователям и разработчикам интерактивных моделей мира стоит обратить внимание на заявленную скорость CADRE: она может помочь снизить задержку при работе на одной H100. Однако источник не приводит результатов независимых испытаний, информации о доступе и достаточных сведений о конфигурации, чтобы понять, смогут ли другие воспроизвести эти показатели.
