A NVIDIA lançou quatro modelos de pesos abertos da família Cosmos 3 para criar simulações interativas de direção e robótica. Os checkpoints estão disponíveis no Hugging Face sob a licença OpenMDW1.1, que permite o uso comercial e não comercial, sujeito aos seus termos. Cada modelo é uma versão pós-treinada do Cosmos 3 Nano, com 16 bilhões de parâmetros treináveis.
Os modelos atendem a diferentes tarefas. O Cosmos3-Nano-Transfer-Auto cria clipes de direção offline em até 11 ângulos de câmera e pode gerar dados LiDAR correspondentes, um tipo de medição de distância em 3D. O Cosmos3-Nano-Sim-Auto gera observações de câmera e LiDAR em blocos sucessivos, conforme os controles de direção mudam. O Cosmos3-Nano-Sim-Transfer transforma controles do simulador em vídeo RGB, enquanto o Cosmos3-Nano-Sim-Bimanual prevê vídeos com base em ações de robôs ou câmeras para configurações com dois braços.
O que eles simulam?
Os modelos de direção usam controles do World Scenario Map para descrever a estrutura das vias e o movimento do tráfego. Desenvolvedores podem variar condições como clima, iluminação e horário do dia, enquanto imagens iniciais opcionais ajudam a orientar a aparência da cena. Segundo a NVIDIA, o Transfer-Auto pode gerar vídeos sincronizados a até 30 quadros por segundo, com clipes de até 400 quadros em 480p ou 720p; sequências mais longas podem ser criadas em blocos.
O Sim-Auto foi projetado para uso interativo contínuo: uma política de direção ou uma pessoa altera os controles, e o modelo gera as observações seguintes. Esse ciclo fechado também requer um ambiente de execução de simulação e um renderizador para atualizar os controles do cenário. Na robótica, o Sim-Bimanual é compatível com configurações de robôs YAM e AgiBot, com controles tanto para a manipulação quanto para mudar o ponto de vista da câmera.
O que os desenvolvedores precisam
O Cosmos Framework da NVIDIA oferece receitas de treinamento e inferência para adaptar os modelos a novos sensores, ações e dados. Segundo a NVIDIA, os exemplos podem ser executados com PyTorch ou vLLM-Omni em GPUs Hopper e Blackwell. As instruções no Hugging Face listam Linux, uma GPU NVIDIA, Docker e NVIDIA Container Toolkit como requisitos para a configuração do Sim-Bimanual. A NVIDIA afirma que essa configuração foi testada em uma GPU GB200, mas isso não é apresentado como requisito mínimo de memória.
Esses modelos geram observações; não substituem todos os componentes de um simulador. No Sim-Transfer, por exemplo, o simulador continua calculando o movimento e o estado físico, enquanto o modelo renderiza a visão resultante. A NVIDIA afirma que os pesquisadores ainda precisam avaliar se os modelos dão suporte confiável ao treinamento e à avaliação de políticas.
Por que importa
Para pesquisadores de robótica e direção autônoma, os modelos oferecem formas de gerar observações variadas de sensores ou testar como uma política reage a mudanças nos controles. Ainda é necessário ter hardware NVIDIA compatível e, para a direção em ciclo fechado, um ambiente de execução de simulação; a eficácia das cenas geradas para reproduzir o desempenho no mundo real ainda precisa ser avaliada.
