# NVIDIA, Cosmos 3 시뮬레이션 모델 4종 공개

> 주행·로봇 시뮬레이션용 영상과 동기화된 카메라·LiDAR 데이터를 생성하는 오픈 웨이트 모델이다. NVIDIA 하드웨어와 관련 도구가 필요하다.

Oossa · 2026-11-05 · https://oossa.com/ko/nvidia-releases-four-cosmos-3-simulation-models

NVIDIA가 인터랙티브 주행 및 로봇 시뮬레이션을 만들 수 있는 Cosmos 3 제품군의 오픈 웨이트 모델 4종을 공개했다. 모델 체크포인트는 OpenMDW1.1 라이선스로 Hugging Face에 올라왔으며, 라이선스 조건에 따라 상업적·비상업적으로 사용할 수 있다. 각 모델은 학습 가능한 파라미터가 160억 개인 Cosmos 3 Nano를 추가 학습한 버전이다.

모델마다 용도가 다르다. Cosmos3-Nano-Transfer-Auto는 최대 11개 카메라 시점의 주행 영상을 오프라인으로 만들고, 3D 거리 측정 방식인 LiDAR 데이터도 함께 생성할 수 있다. Cosmos3-Nano-Sim-Auto는 주행 제어가 바뀌는 동안 카메라와 LiDAR 관측 데이터를 연속된 구간으로 생성한다. Cosmos3-Nano-Sim-Transfer는 시뮬레이터 제어값을 RGB 영상으로 변환하고, Cosmos3-Nano-Sim-Bimanual은 양팔 로봇 환경에서 로봇이나 카메라의 동작을 바탕으로 영상을 예측한다.

## 무엇을 시뮬레이션하나?

주행 모델은 도로 구조와 교통 흐름을 표현하는 World Scenario Map 제어값을 사용한다. 개발자는 날씨, 조명, 시간대 같은 조건을 바꿀 수 있으며, 시작 이미지를 제공해 장면의 외관을 지정할 수도 있다. NVIDIA에 따르면 Transfer-Auto는 초당 최대 30프레임으로 동기화된 영상을 생성하며, 480p 또는 720p 해상도에서 최대 400프레임 길이의 클립을 만들 수 있다. 더 긴 영상은 여러 구간으로 나눠 생성할 수 있다.

Sim-Auto는 지속적인 인터랙티브 사용을 염두에 두고 설계됐다. 주행 정책이나 사용자가 제어값을 바꾸면 모델이 다음 관측 데이터를 생성한다. 이 폐루프 방식에는 시나리오 제어값을 갱신하는 시뮬레이션 런타임과 렌더러도 필요하다. 로봇 분야에서 Sim-Bimanual은 YAM 및 AgiBot 로봇 환경을 지원하며, 조작 동작과 카메라 시점 변경을 모두 제어할 수 있다.

## 개발자에게 필요한 것

NVIDIA의 Cosmos Framework에는 모델을 새로운 센서, 동작, 데이터에 맞게 조정하기 위한 학습 및 추론 레시피가 포함돼 있다. NVIDIA에 따르면 예제는 Hopper 및 Blackwell GPU에서 PyTorch 또는 vLLM-Omni를 사용해 실행할 수 있다. Hugging Face의 안내에는 Sim-Bimanual 설정에 Linux, NVIDIA GPU, Docker, NVIDIA Container Toolkit이 필요하다고 나와 있다. NVIDIA는 이 설정을 GB200 GPU 1개에서 테스트했다고 밝혔지만, 이를 최소 메모리 사양으로 명시한 것은 아니다.

이 모델들은 관측 데이터를 생성하지만 시뮬레이터의 모든 기능을 대체하지는 않는다. 예를 들어 Sim-Transfer에서는 시뮬레이터가 여전히 움직임과 물리 상태를 계산하고, 모델은 그 결과를 화면에 표현한다. NVIDIA는 모델이 정책 학습과 평가를 안정적으로 지원하는지 연구자들이 별도로 측정해야 한다고 밝혔다.

## 팩트

- Cosmos 3 Nano 체크포인트 4종 모두 학습 가능한 파라미터가 160억 개다.
- Transfer-Auto는 최대 11개 카메라 시점과 RGB·LiDAR 데이터 동시 생성을 지원한다.
- NVIDIA에 따르면 Transfer-Auto는 480p 또는 720p 해상도에서 최대 400프레임 길이의 클립을 지원한다.
- Sim-Bimanual 설정은 GB200 GPU 1개에서 테스트됐으며, NVIDIA는 이를 최소 요구 사양이라고 설명하지 않았다.

## 왜 중요한가

로봇 및 자율주행 연구자는 이 모델을 활용해 다양한 센서 관측 데이터를 생성하거나 제어값 변화에 정책이 어떻게 반응하는지 시험할 수 있다. 다만 호환되는 NVIDIA 하드웨어가 필요하고, 폐루프 주행에는 시뮬레이션 런타임도 갖춰야 한다. 생성된 장면이 실제 환경의 성능 향상에 얼마나 도움이 되는지는 추가 검증이 필요하다.

## 출처 및 참고 자료

1. [New NVIDIA Cosmos 3 Open Models for Interactive World Simulation on Hugging Face](https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation) – Hugging Face, 2026-11-05
2. [NVIDIA](https://developer.nvidia.com/blog/build-world-models-for-interactive-simulation-with-nvidia-cosmos/) – NVIDIA

최종 업데이트: 2026-11-05