Qwen3.8-2.4T-A95B: i conti per girare 2,4 trilioni di parametri open-weight, con 95B attivi

Qwen3.8-2.4T-A95B è il primo modello della classe Qwen-Max in open-weight: 2,4 trilioni di parametri totali, 95 miliardi attivi per token. La notizia interessa anche chi fa girare i modelli in locale, ma non per i motivi che pensi: non si tratta di scaricarlo su una workstation. Si tratta di capire cosa pesa, quanto costa e cosa ci guadagni. I conti, qui sotto.
Cosa significa davvero 2,4T
"2,4 trilioni" non è un numero che si può sentire: è una grandezza da data center. Le cose concrete, dalla scheda del modello:
- MoE con 512 expert: per ogni token si attivano 10 expert instradati + 1 condiviso, per un totale di 95B parametri attivi. Il resto del modello è lì, ma non si calcola.
- 92 layer, hidden dimension 8192, con multi-token prediction (MTP) allenata su più passi.
- Attenzione ibrida: 3 layer su 4 usano Gated DeltaNet (attenzione lineare, stato costante), 1 su 4 usa l'attenzione classica (Gated Attention). È la stessa famiglia di trucchi che tiene bassa la KV cache: su un contesto lungo, la memoria per la cache cresce solo per i 23 layer di attenzione classica, non per tutti e 92.
- Contesto: 262.144 token nativi, estendibile fino a circa 1M.
- Formati: pesi BF16 nel repo, con una variante FP8 separata. La versione API ufficiale (Qwen3.8-Max) aggiunge input visivi e 1M di contesto di default, come da blog ufficiale.
Il punto che conta per i conti: i byte che servono a memoria sono quelli di tutti i 2,4T, non dei 95B attivi. In un MoE gli expert stanno fermi in memoria e ogni token ne tocca alcuni: la macchina deve poterli tenere tutti.
Quanto pesa in byte
Parametri × byte per parametro. Con i rapporti standard dei quant GGUF (gli stessi che usiamo per i modelli di dimensioni normali):
| Formato | Byte/parametro | Pesi su disco |
|---|---|---|
| BF16 (come rilasciato) | 2,0 | ~4,8 TB |
| FP8 (variante separata) | 1,0 | ~2,4 TB |
| Q8 (GGUF) | ~1,1 | ~2,6 TB |
| Q4_K_M (GGUF) | ~0,55 | ~1,3 TB |
| Q2_K (GGUF) | ~0,38 | ~0,9 TB |
Anche al quant più aggressivo della tabella i pesi superano i 900 GB. A questo punto la domanda non è "quale quant", ma "quale macchina".
Dove ci sta
La risposta scomoda: in nessun nodo consumer singolo. I massimi oggi in commercio:
| Macchina | Memoria | Ci sta in Q4_K_M (~1,3 TB)? |
|---|---|---|
| NVIDIA DGX Spark (GB10) | 128 GB | No |
| AMD Ryzen AI Max+ 395 (Strix Halo) | 128 GB | No |
| Mac Studio (M5 Max) | 128 GB | No |
| Mac Studio (M5 Ultra) | 512 GB | No — 512 < 1.300 |
Il record consumer, 512 GB di memoria unificata, copre a malapena un terzo del modello in Q4. Se vuoi un nodo singolo che ci stia con margine, il prossimo gradino è la memoria server: 1,5-2 TB di RAM ECC su una workstation multi-socket, o GPU in parallelo di tensori/esperti.
L'alternativa consumer realistica è il multi-nodo:
| Configurazione | Memoria totale | Pesi in Q4_K_M | Costo hardware |
|---|---|---|---|
| 4× Mac Studio M5 Ultra 512 GB | 2 TB | Ci sta, con margine per la KV cache | 4 × 6.699 = 26.796 € |
| 8× H100 80 GB (SXM) | 640 GB | No, anche in Q2_K | 8 × 30.000 = 240.000 € |
| 24× H100 80 GB (SXM) | 1,9 TB | Ci sta | 24 × 30.000 = 720.000 € |
Le 8 H100 sono incluse solo per mostrare il buco: 640 GB non bastano a nessun quant della tabella sopra. Serve un multiplo di più, e il prezzo segue.
I conti correnti: ammortamento e luce
Stessa ipotesi dei nostri altri conti di macchina: 36 mesi di ammortamento, uso 24/7 al 50% di carico medio, elettricità a 0,25 €/kWh.
4× Mac Studio M5 Ultra 512 GB (480 W di picco per unità, ~240 W medi a mezzo carico):
- Ammortamento: 26.796 € ÷ 36 = ~744 €/mese
- Luce: 0,24 kW × 730 h = 175 kWh per Mac al mese → 4 Mac = 701 kWh → × 0,25 = ~175 €/mese
- Totale: ~920 €/mese, tutto incluso
24× H100 80 GB (700 W di picco per scheda, ~350 W medi):
- Ammortamento: 720.000 € ÷ 36 = 20.000 €/mese
- Luce: 8,4 kW medi × 730 h = 6.132 kWh → × 0,25 = ~1.530 €/mese
- Totale: ~21.500 €/mese, senza contare sala, raffreddamento e rete
La voce luce della flotta H100 (1.530 €/mese) costa più del totale della flotta Mac, che invece ne spende 175. Sui grandi MoE, la differenza di architettura tra memoria unificata e HBM si vede prima sul contatore che sul benchmark.
Quanta velocità ne esce
Su un nodo singolo la regola che usiamo per i MoE vale anche qui: la decodifica è limitata dalla banda, e si dividono banda passante per i byte degli expert attivi. 95B attivi in Q4_K_M ≈ 52 GB:
| Banda | Tok/s teorici (1.200 ÷ 52) |
|---|---|
| Mac Studio M5 Ultra, 1.200 GB/s | ~23 |
| DGX Spark, 273 GB/s | ~5 |
Attenzione: il Mac 512 GB non tiene il modello, quindi i 23 tok/s sono un controfattuale — la velocità di una macchina che non esiste. In multi-nodo il conteggio cambia: ogni token attraversa una novantina di blocchi MoE e ad ogni blocco l'attivazione fa un all-to-all tra i nodi che ospitano gli expert. Il collo di bottiglia non è più la banda di memoria ma l'interconnessione: Thunderbolt (10-15 GB/s) o 25/40GbE. Non esistono numeri pubblici per questa configurazione esatta, e non ne inventiamo: l'ordine di grandezza è quello dell'interconnessione, e se ti serve un server sempre acceso con SLO, parti dall'assunto che il multi-nodo consumer è un progetto da validare, non un acquisto.
Quando ha senso
- Se oggi giri un Qwen3.8-27B o un 30B-A3B su 24 GB di VRAM: per la grande maggioranza degli usi — RAG, coding assistito, automazioni — quelli bastano. Questo articolo non è un incentivo a comprarci altro, è la mappa dei costi se arrivi davvero a volere qualità classe Max senza API.
- Ha senso in locale quando i dati non possono uscire, il modello deve essere disponibile 24/7 senza contatore di token, e hai già lo spazio per un rack o un tavolo pieno di Mac. In quel caso i ~920 €/mese della flotta Mac sono il numero da confrontare con il tuo volume di token API.
- Non ha senso per chi parte da zero: un singolo Mac 512 GB con un modello da 30-70B ti dà un'IA locale completa spendendo un quarto, con la metà dei problemi logistici.
In sintesi
Qwen3.8-2.4T-A95B porta la classe Qwen-Max in open-weight: 2,4T di parametri, 95B attivi, contesto da 262k a 1M. In byte sono ~1,3 TB in Q4_K_M, più di qualsiasi nodo consumer (massimo 512 GB), quindi il locale per questo modello è necessariamente multi-nodo: 4 Mac Studio M5 Ultra a ~26.800 € (~920 €/mese tutto incluso) oppure 24 H100 a 720.000 € (~21.500 €/mese). La velocità in multi-nodo è decisa dall'interconnessione, non dalla memoria. Se non hai già un'infrastruttura, il modello giusto per te è più piccolo: la frontiera open è arrivata alla Max-class, ma il tuo hardware probabilmente no.
Articolo generato con IA
In questi percorsi
Ti è piaciuto questo articolo?
Iscriviti alla newsletter per ricevere nuovi tutorial e guide.
Articoli Correlati

Ripple-65B: un dense da 64,8B in Apache-2.0, i conti per girarlo in locale
64,8B di parametri, Apache 2.0, 1M di contesto e un checkpoint NVFP4 pensato per 128 GB di memoria unificata: i conti e i criteri per girare un dense da frontier in locale.

QRAE: comprimere il contesto degli agenti DeepSearch per risparmiare token e latenza
QRAE usa l'entropia dell'attenzione del modello per decidere quali frammenti recuperati restano nel contesto: token -45%, latenza -30% e successo in crescita su quattro benchmark.

