NVIDIA가 인터랙티브 주행 및 로봇 시뮬레이션을 만들 수 있는 Cosmos 3 제품군의 오픈 웨이트 모델 4종을 공개했다. 모델 체크포인트는 OpenMDW1.1 라이선스로 Hugging Face에 올라왔으며, 라이선스 조건에 따라 상업적·비상업적으로 사용할 수 있다. 각 모델은 학습 가능한 파라미터가 160억 개인 Cosmos 3 Nano를 추가 학습한 버전이다.
모델마다 용도가 다르다. Cosmos3-Nano-Transfer-Auto는 최대 11개 카메라 시점의 주행 영상을 오프라인으로 만들고, 3D 거리 측정 방식인 LiDAR 데이터도 함께 생성할 수 있다. Cosmos3-Nano-Sim-Auto는 주행 제어가 바뀌는 동안 카메라와 LiDAR 관측 데이터를 연속된 구간으로 생성한다. Cosmos3-Nano-Sim-Transfer는 시뮬레이터 제어값을 RGB 영상으로 변환하고, Cosmos3-Nano-Sim-Bimanual은 양팔 로봇 환경에서 로봇이나 카메라의 동작을 바탕으로 영상을 예측한다.
무엇을 시뮬레이션하나?
주행 모델은 도로 구조와 교통 흐름을 표현하는 World Scenario Map 제어값을 사용한다. 개발자는 날씨, 조명, 시간대 같은 조건을 바꿀 수 있으며, 시작 이미지를 제공해 장면의 외관을 지정할 수도 있다. NVIDIA에 따르면 Transfer-Auto는 초당 최대 30프레임으로 동기화된 영상을 생성하며, 480p 또는 720p 해상도에서 최대 400프레임 길이의 클립을 만들 수 있다. 더 긴 영상은 여러 구간으로 나눠 생성할 수 있다.
Sim-Auto는 지속적인 인터랙티브 사용을 염두에 두고 설계됐다. 주행 정책이나 사용자가 제어값을 바꾸면 모델이 다음 관측 데이터를 생성한다. 이 폐루프 방식에는 시나리오 제어값을 갱신하는 시뮬레이션 런타임과 렌더러도 필요하다. 로봇 분야에서 Sim-Bimanual은 YAM 및 AgiBot 로봇 환경을 지원하며, 조작 동작과 카메라 시점 변경을 모두 제어할 수 있다.
개발자에게 필요한 것
NVIDIA의 Cosmos Framework에는 모델을 새로운 센서, 동작, 데이터에 맞게 조정하기 위한 학습 및 추론 레시피가 포함돼 있다. NVIDIA에 따르면 예제는 Hopper 및 Blackwell GPU에서 PyTorch 또는 vLLM-Omni를 사용해 실행할 수 있다. Hugging Face의 안내에는 Sim-Bimanual 설정에 Linux, NVIDIA GPU, Docker, NVIDIA Container Toolkit이 필요하다고 나와 있다. NVIDIA는 이 설정을 GB200 GPU 1개에서 테스트했다고 밝혔지만, 이를 최소 메모리 사양으로 명시한 것은 아니다.
이 모델들은 관측 데이터를 생성하지만 시뮬레이터의 모든 기능을 대체하지는 않는다. 예를 들어 Sim-Transfer에서는 시뮬레이터가 여전히 움직임과 물리 상태를 계산하고, 모델은 그 결과를 화면에 표현한다. NVIDIA는 모델이 정책 학습과 평가를 안정적으로 지원하는지 연구자들이 별도로 측정해야 한다고 밝혔다.
왜 중요한가
로봇 및 자율주행 연구자는 이 모델을 활용해 다양한 센서 관측 데이터를 생성하거나 제어값 변화에 정책이 어떻게 반응하는지 시험할 수 있다. 다만 호환되는 NVIDIA 하드웨어가 필요하고, 폐루프 주행에는 시뮬레이션 런타임도 갖춰야 한다. 생성된 장면이 실제 환경의 성능 향상에 얼마나 도움이 되는지는 추가 검증이 필요하다.
