Strumenti, framework e modelli per l'IA locale
60 risorse trovate per "Open Source"
Modello musicale open più recente con controllo eccellente su testi e stili: genera canzoni complete con lyrics in molte lingue, incluso l'italiano.
Modello di ragionamento da 27B con pesi ternari a 1,72 bit per peso, derivato da Qwen3.8-27B con attenzione ibrida (~75% lineare). In GGUF PTQ1_0 occupa 5,95 GB, mantiene il 98,2% dell'intelligenza FP16 e arriva a ~47 tok/s su un laptop Apple M5 Max, con contesto da 262K token. Licenza Apache 2.0. Richiede la fork llama.cpp di Prism ML (i kernel ternari non sono in llama.cpp stock).
CLI di NVIDIA in Rust per lo sviluppo assistito da IA del kernel Linux, con focus sull'IA locale: validazione dei patch, build, boot e test, pensata per il backporting di patch su kernel più vecchi. Supporta back-end locali (Claude, OpenCode, Codex) o server OpenAI-compatibili. Licenza Apache 2.0, guidato da Andrea Righi.
Modello di decisione multimodale da 27B (base Qwen3.8-27B) di Cloudflare: legge uno stato (testo, JSON, immagini, video) e uno schema di domande tipizzate e restituisce una probabilità per ogni opzione in una sola passata, senza generazione di testo. Compatibile con l'API Jev e SystemOne.
Il workflow visuale a nodi per modelli di diffusione: lo standard per SDXL, FLUX, video e audio. Massima flessibilità, dalla semplice alla pipeline professionale.
Modello MoE di DeepSeek con 552B di parametri totali e 8-16B attivi per token. Contesto da 1M di token, licenza MIT: uso commerciale libero. Pensato per il serving in linea, troppo grande per un uso locale su un singolo PC.
Reimplementazione di Whisper basata su CTranslate2: fino a 4 volte più veloce di openai/whisper con la stessa accuratezza e meno memoria. Supporta la quantizzazione 8-bit su CPU e GPU.
Famiglia di modelli open di Google nelle taglie 1B, 4B, 12B e 27B. Contesto di 128K token, oltre 140 lingue supportate e input multimediali (testo e immagini). Ottima scelta per RAG e documenti lunghi su hardware consumer.
La taglia 12B della famiglia Gemma 4 di Google: 11,95B dense, contesto 256K e multimodalità integrata senza encoder separati (testo+immagini+audio). Licenza Apache 2.0. In Q4_K_M occupa circa 7,4GB: il punto di equilibrio tra qualità e requisiti hardware per l'uso locale su 8-16GB.
Il modello MoE della famiglia Gemma 4: 25,2B di parametri totali con 3,8B attivi per token. Contesto 256K, input testo+immagini, oltre 140 lingue, Apache 2.0. In Q4_K_M pesa circa 16,8GB: la scelta per chi ha 24GB di VRAM e vuole qualità da modello grande con velocità da modello piccolo.
Modello compatto della famiglia Gemma 4 di Google: 8B di parametri totali, di cui 4,5B effettivi grazie agli embedding per livello (PLE). Contesto di 131K token, oltre 140 lingue, input testo+immagini e audio. La taglia di ingresso della famiglia Gemma 4 per l'uso locale su 8-16GB.
Libreria Python di Hugging Face per eseguire i pipeline dei modelli generativi: immagine, video e audio. È il modo standard per girare modelli come Qwen-Image in locale, con supporto CUDA e offload CPU per le GPU con meno memoria.
La libreria standard per NLP e modelli multimodali con migliaia di modelli pre-addestrati.
Modello di sintesi vocale da 82M di parametri su architettura VITS, Apache-2.0 per i pesi, con voci in decine di lingue e qualità sorprendentemente alta per le dimensioni. Gira in modo efficiente anche solo su CPU.
Modello per agenti locali e applicazioni specializzate, 1,73B parametri, architettura tri-hybrid (13 convoluzioni corte gateate, 5 attenzione a finestra scorrevole, 6 attenzione globale). Post-training agentico esplicito (harness come Hermes Agent, Pi, OpenClaw), 256K di contesto, 16 lingue incluso l'italiano, ~1GB di RAM a 4-bit. Licenza LFM Open v1.0.
Il modello open più grande di Meta: qualità da frontiera chiusa ma requisiti da datacenter. In pratica richiede multi-GPU ad alta VRAM o il cloud.
Modello open di livello frontiera con contesto da 131K token. Richiede 48-80GB di VRAM, un Mac con memoria unificata o una configurazione multi-GPU.
Il cavallo di battaglia locale per eccellenza: qualità solida, contesto da 131K token e un ecosistema di quantizzazioni GGUF immenso. La scelta standard per chat e assistenti.
Modello piccolo e veloce con contesto fino a 131K token. Punto di ingresso ideale per chat e riepilugi su hardware modesto, ottimo per smartphone e mini-PC.
Framework open source per il fine-tuning unificato di 100+ LLM e VLM (Qwen, Llama, Mistral, Gemma): da SFT completo a LoRA, QLoRA e DPO, con WebUI integrata e avvio da un singolo file YAML. Progetto di riferimento della community (ACL 2024).
Tool open source che stima la velocità di inferenza di un modello locale su oltre 250 configurazioni hardware (GPU, Mac, CPU): stime misurate da benchmark della community o derivate da setup simili. Serve a scegliere l'hardware prima di acquistarlo.
Generazione video aperta e veloce: testo o immagine a video a 768px con buona qualità del movimento. Tra i modelli video open più rapidi.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Modello da 7B veloce ed efficiente, ben tarato sui compiti multilingue europei. Ottima qualità di istruzioni a una frazione del costo dei modelli da 13B in poi.
Il modello più grande di Mistral in open-weight: MoE nativamente multimodale da 1 trilione di parametri totali, ~49B attivi per token (52B con embed e output), contesto fino a 1M token. Addestrato da zero su 3.800 NVIDIA Grace Blackwell. Licenza Mistral Ecosystem Open-Weight (variante di MIT): uso commerciale ok; un business Model-as-a-Service richiede licenza commerciale separata.
Il primo 'modello unificato' di Mistral: dense da 128B che unisce instruction-following, reasoning e coding in un'unica serie di pesi, sostituendo Medium 3.1, Magistral e Devstral 2. Multimodale (testo+immagini), contesto 256K, ragionamento configurabile. Open weights con licenza Modified MIT: uso libero fino a una soglia di fatturato per le grandi aziende.
Il modello della linea Small di Mistral, ora MoE: 119B di parametri totali con 6,5B attivi per token (128 esperti, 4 attivi). Unifica instruct, reasoning e coding in un unico modello multimodale (testo+immagini) con contesto 256K. Licenza Apache 2.0.
Proxy open source che intercetta e mostra i contenuti delle richieste HTTPS in chiaro: lo strumento per verificare cosa parte davvero in rete dal tuo setup di IA locale.
Otto esperti da 7B con due attivi per token: 47B di parametri totali e ragionamento da modello grande a una frazione del costo di calcolo. Un classico del mondo open.
Motore di inferenza GPU on-device open source (Apache 2.0) di Google, successore del delegate GPU di TensorFlow Lite: tensor virtualization, KV cache stage-aware per prefill e decode, FP16/INT8/INT4. Backend OpenCL (Android), Metal (Apple), WebGPU via Dawn (browser), OpenGL ES 3.1+. Si integra con LiteRT; in produzione su Chrome, YouTube, Photos e Meet.
Framework di machine learning di Apple per Apple Silicon: array con calcolo lazy su CPU e GPU unificate, memoria unificata a favore. La libreria mlx-lm porta addestramento, fine-tuning (LoRA/QLoRA) e inferenza di LLM direttamente su Mac.
App GTK4/libadwaita per GNOME per chattare con modelli locali via Ollama, in Rust e GPLv3: gestisce l'installazione di Ollama, i modelli, e il caricamento di documenti e immagini locali.
Genera fino a 30 secondi di musica o effetti sonori da una descrizione testuale. Il modello musicale open di riferimento, leggero e versatile.
Modello di sintesi vocale multilingue di NVIDIA: 357M parametri, 12 lingue (italiano e francese inclusi), architettura encoder-decoder transformer. Compatto e pensato per esecuzione in locale a bassa latenza; pesi disponibili su Hugging Face.
Modello vocale end-to-end full-duplex da 11B: comprensione e generazione audio in un'unica architettura, senza stack in cascata ASR→LLM→TTS. Primo modello full-duplex open con tool calling durante la conversazione, risposte in ~450ms, interruzioni e turni naturali.
Strumento open source per eseguire LLM localmente con semplicità.
Il modello di ragionamento open-weight di OpenAI: MoE con 21B di parametri totali e 3,6B attivi (32 esperti, top-4), contesto 128K e quantizzazione MXFP4 nativa. Licenza Apache 2.0: i pesi partono già quantizzati a 4 bit, senza passo di conversione. Sta in 16GB di VRAM e gira anche su RAM unificata o CPU.
Agente per smartphone da 9B (image-text-to-text) derivato da Qwen3.5-9B e fine-tunato sui dati OpenMobile-2: screenshot Android e tool nativi delle app. AndroidWorld Pass@1 79.9, MobileWorld 50.4; SPA-Bench sale da 31.9 a 59.6 dopo il training RL. Supporto vLLM e SGLang; gli ambienti di training (MobileGym++) e le ricette sono pubbliche. Licenza Apache 2.0.
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
Il modello di generazione di immagini da 20B (MMDiT) di Alibaba: comprensione del testo nelle immagini eccellente, editing preciso e licenza Apache 2.0. La base della famiglia Qwen-Image, di cui 2.1 è la variante compatta da 7B.
Modello open-weight da 7B (DiT da 32 layer) che unisce generazione da testo fino a 2048x2048, editing con fino a 10 immagini di riferimento e trasparenza RGBA nativa. Pensato per girare in locale su 16GB+ di VRAM; supportato da diffusers e ComfyUI.
Modello ultra-compatto di 0,5 miliardi di parametri. Si esegue su qualsiasi hardware, anche embedded: ideale per riepilugi leggeri e per dispositivi locali a bassissimo consumo.
Salito netto in ragionamento e qualità delle istruzioni rispetto agli 8B. Ottimo per coding, agent e stesura strutturata su GPU da 16GB o Mac con 32GB di RAM.
Qualità vicina ai modelli da 70B a una frazione della dimensione: il punto ideale per usi avanzati. Eccellente in italiano, codice e ragionamento. Richiede 24GB o più di VRAM.
Modello da 3 miliardi di parametri con ottimo supporto multilingue, incluso l'italiano. Buono equilibrio tra qualità e requisiti hardware per riepilugi e stesure.
Il modello dense aperto migliore della sua classe, con supporto multilingue di prim'ordine in italiano, francese e altre lingue europee. Richiede configurazioni da 48-80GB.
Modello Mixture-of-Experts: 30B di parametri totali ma solo 3,3B attivi per token. Velocità da modello piccolo con qualità da modello medio; il rapporto qualità/velocità migliore della sua classe.
Il modello dense 8B della famiglia Qwen3: 8,19B di parametri, contesto nativo di 40K token (espandibile con YaRN) e ragionamento in modalità think/non-think attivabile per prompt. Licenza Apache 2.0. È il punto di equilibrio per l'uso locale su GPU da 8-12GB: in Q4_K_M occupa circa 5GB, lasciando spazio per contesto lungo.
Il modello dense multimodale della generazione Qwen3.8 di Alibaba: 27,78B di parametri, input testo+immagini+video e contesto nativo di 262K token. Licenza Apache 2.0. L'attenzione ibrida (DeltaNet lineare + GQA) riduce la KV cache di circa il 75% rispetto a un transformer standard: in Q4_K_M sta su una singola GPU da 24GB.
Modello di moderazione della sicurezza da 0,6B con classificatore a livello di token per la sorveglianza in tempo reale durante la generazione incrementale. Tre livelli di gravità (sicuro, controverso, non sicuro) e 119 lingue: piccolo e locale, ideale per filtrare gli output senza cloud.
Motore di serving open source per LLM con RadixAttention, continuous batching e decoding speculativo di prima classe (MTP, EAGLE, draft model, ngram). Licenza Apache-2.0.
Fino a 47 secondi di audio da testo: musica e effetti sonori di alta qualità. Ottimo per produzioni sonore e sound design locali.
Il classico del generazione di immagini: veloce, leggero e con l'ecosistema di LoRA e ControlNet più vasto in assoluto. Perfetto per GPU da 6-8GB.
Lo standard attuale per immagini fotorealiste e artistiche a 1024px. Migliore aderenza al prompt e composizioni più coerenti rispetto a SD 1.5.
Trasforma un'immagine in un breve clip video di circa 2 secondi. Il punto d'ingresso per la generazione video locale; 16GB di VRAM consigliati.
Il classico strumento da riga di comando per catturare i pacchetti di rete: il modo più diretto per vedere chi sta parlando con l'esterno dalla tua macchina.
Lo stato dell'arte dei modelli video aperti a 720p: qualità del movimento e coerenza tra i frame di livello professionale. Richiede 24GB o più di VRAM.
Il modello di trascrizione di riferimento per l'IA locale: 809M di parametri, 99 lingue, licenza MIT. Versione distillata di Large-v3 con decoder ridotto da 32 a 4 layer: trascrive circa 8 volte più veloce con perdita di accuratezza trascurabile. Gira in tempo reale su una GPU consumer e anche solo su CPU.
Il port C/C++ ad alte prestazioni di Whisper: trascrizione vocale in locale ottimizzata per CPU e Apple Silicon, senza dipendenze da Python. Quantizzazione GGML (Q4_0–Q8_0) con riduzione fino al 65% a disco, streaming via whisper-stream, accelerazione Metal/Vulkan. MIT.
Lo strumento con interfaccia grafica per catturare e analizzare il traffico di rete: filtri, colori, statistiche e visualizzazione in tempo reale di ogni connessione.
