Cosmos3-Nano-Sim-Auto: il world model di NVIDIA da 16B che simula la guida in tempo reale, in locale

Un world model è un simulatore neurale: un modello che ha imparato come si comporta il mondo e può generare cosa succederebbe se tu facessi questa manovra, in questo scenario, con questo meteo. Non risponde a domande — produce scenari. E NVIDIA li sta portando fuori dal cloud: Cosmos3-Nano-Sim-Auto è un world model da 16 miliardi di parametri per la simulazione di guida in tempo reale, rilasciato pubblico su Hugging Face e GitHub con licenza OpenMDW 1.1. Qui guardiamo cosa genera, come funziona il ciclo chiuso e cosa vuol dire davvero "in locale" quando si parla di un simulatore da 16B.
Cos'è Cosmos3-Nano-Sim-Auto
Lo checkpoint pubblicato da NVIDIA è la variante causal-distilled della famiglia Cosmos3. La catena è in due stadi: Cosmos3-Nano fa post-training su dati di guida multi-sensore, incluse le nuvole LiDAR, e diventa Cosmos3-Nano-Transfer-Auto; poi una distillazione causale lo trasforma in un modello few-step, che genera video a piccoli chunk di frame latenti condizionati sulla storia in cache e sui controlli in arrivo. L'architettura è un Mixture-of-Transformers (MoT) con 16B di parametri addestrabili, sviluppato con il Cosmos Framework, open source su GitHub.
La differenza con un modello di immagini o un LLM non è la dimensione, è la natura dell'output: non genera un'immagine finita, genera un mondo che reagisce. Ogni chunk dipende dai comandi di guida ricevuti; il chunk successivo dipende dal precedente. La coerenza spaziale e temporale tra le telecamere e il LiDAR è costruita dentro il modello, non aggiunta in post-produzione.
Come funziona il ciclo chiuso
Il loop che il modello chiude è questo: una policy di guida (o un volante umano) produce comandi; un renderer WSM (World Scenario Map) li converte in controlli di scena — video MP4 della struttura della scena, con lane markings e cuboidi degli oggetti, uno per ogni vista; il modello genera l'osservazione; la policy la legge e comanda di nuovo. A ogni passo il mondo si aggiorna in funzione dell'input.
L'osservazione che genera è ricca:
- Fino a 11 viste telecamera — il rig di riferimento è il Hyperion 8.1: front-wide 120°, front-tele 30°, cross-left e cross-right 120°, rear-left e rear-right 70°, rear-tele 30°, più quattro fisheye da 200°
- 480p o 720p, 10–30 fps su tutte le viste selezionate, spazialmente e temporalmente sincronizzate
- LiDAR allineato — una nuvola di punti 3D da un sensore a 128 fasci, convertita dalle range-map generate dal modello
Gli input che accetta, dal model card:
- Prompt testuale: meteo, illuminazione, ora del giorno; porta anche la configurazione delle telecamere
- Controlli WSM: i video di struttura sincronizzati, vista per vista
- RGB iniziale (opzionale): la prima immagine di ogni telecamera
- Mappe LiDAR: sequenze di range-map derivate dalla HD map, necessarie se si chiede l'output LiDAR
Quanto pesa davvero "16B"
16B è un numero che con un LLM diresti "ci sta anche su 24GB di VRAM". Con un world model la conta è diversa, perché il peso è solo la parte fissa: il resto sono i chunk di generazione che girano in parallelo su 11 viste più un sensore. I conti:
| Voce | Calcolo | Risultato |
|---|---|---|
| Pesi in FP16 | 16 × 10⁹ parametri × 2 byte | ≈ 32 GB |
| Pesi in FP8 | 16 × 10⁹ parametri × 1 byte | ≈ 16 GB |
| Buffer di generazione | 11 flussi video + LiDAR, chunk per chunk | non dichiarata |
| Storia temporale in cache | chunk precedenti, per la coerenza del mondo | non dichiarata |
I 32GB di pesi in FP16 starebbero teoricamente anche su una GPU da 32GB. Ma il lavoro di questo modello non è leggere i pesi: è generare 11 flussi video e un LiDAR, frame dopo frame, a 10–30 fps. Per questo NVIDIA dichiara come hardware di riferimento le serie Hopper (H100, H20, H200) e Blackwell (B200, B300, GB200, GB300), su Linux. Non è un divieto: è il perimetro testato e garantito.
Perché girarlo in locale
Un simulatore che gira in locale ha quattro vantaggi concreti:
- Latenza del loop chiuso. La policy deve leggere l'osservazione e ricomandare a ogni passo: ogni round trip verso un servizio remoto è un ritardo che, nel mondo reale, si misura in metri.
- I dati restano dove sono. Video di guida, mappe, traiettorie della flotta: non attraversano un provider, restano sul sito.
- Disponibilità. Il simulatore c'è quando l'hardware c'è: senza coda, senza quota, senza dipendenza dalla rete. È la stessa logica dell'IA locale applicata alla fisica.
- Licenza OpenMDW 1.1. Pronta per uso commerciale e non commerciale: metti il simulatore in produzione senza negoziare una licenza di rendering.
Sui costi, il ragionamento è quello che fai per qualsiasi GPU tua: il capitale è già speso, e il margine è elettricità. Una GPU da 700W sotto carico (il TDP di una H100 SXM) a regime costante consuma 0,7 kWh all'ora; a 8 ore al giorno sono 5,6 kWh — a 0,30 €/kWh, circa 1,70 € al giorno, una manciata di euro al mese. Il paragone giusto non è col rendering cloud: è col fatto che gli scenari, prima, non esistevano. Ora si generano quando servono, in numero illimitato.
E i limiti?
Onesti, perché qui la trasparenza serve a decidere se ha senso per te:
- Non è un modello da workstation consumer. L'hardware dichiarato è datacenter: Hopper o Blackwell. Se la tua GPU ha 16–24GB, per oggi questo non è il tuo modello. È la prima world model da 16B che è realistica da schierare — non la prima che gira sul desktop.
- Linux only. Le altre piattaforme non sono state testate.
- Un solo sweep LiDAR misurato come prefisso. Il percorso causale attuale accetta una sola passata LiDAR reale all'inizio; i prefissi più lunghi non sono supportati.
- 480p/720p, 10–30 fps. È simulazione, non fotorealismo: per valutare una policy di guida è più che sufficiente.
- Il rig è quello dichiarato. Da 1 a 11 viste su rig Hyperion; per configurazioni custom serve un post-training sulla variante Transfer-Auto.
Fonti
- Scheda del modello nvidia/Cosmos3-Nano-Sim-Auto
- NVIDIA/cosmos, il codice del Cosmos Framework su GitHub
- Technical report — Cosmos Simulation
In sintesi
Cosmos3-Nano-Sim-Auto è un simulatore di guida chiuso: 16B di parametri in architettura MoT, che genera fino a 11 telecamere e una nuvola LiDAR sincronizzate, a 10–30 fps e in 480p/720p, condizionate da un prompt testuale e dai controlli WSM. "In locale" qui non è una scelta estetica: è la latenza del loop, sono i dati che non attraversano la rete, è la licenza OpenMDW 1.1 per uso commerciale. L'hardware richiesto è datacenter, e i limiti sono dichiarati con chiarezza nella scheda del modello. Il pezzo mancava nella famiglia Cosmos3: la policy DROID per la robotica on-edge c'era già — ora c'è anche il mondo in cui provarla.
Articolo generato con IA
In questi percorsi
Ti è piaciuto questo articolo?
Iscriviti alla newsletter per ricevere nuovi tutorial e guide.
Articoli Correlati

Turnbook: la memoria locale per gli agenti di coding, senza una chiamata al modello
Ogni conversazione salvata parola per parola in un file SQLite, senza una sola chiamata al modello: la ricerca gira con embedding locali e il recupero costa 3,1k token. 91,8% su LongMemEval, zero token per salvare.

Ollama voice: la sintesi vocale locale, dalla riga di comando all'API OpenAI
Phonon porta la sintesi vocale nel server Ollama: un comando per parlare, endpoint OpenAI-compatibile e lettura in streaming della risposta, 35% più veloce del runtime di riferimento su M5 Max.

