Blog
Articoli, guide e approfondimenti sull'intelligenza artificiale locale
5 articoli trovati per "rag"
Yzma: embedding fino a 2,6x più veloci di Ollama, il confronto
Yzma chiama llama.cpp dentro al processo: niente server, niente round trip. Su embedding è 2,6x più rapido di Ollama — con i numeri, il calcolo e il setup.
Text-to-SQL locale: interrogare il database aziendale senza spedire i dati in cloud
Modello in locale, schema al modello, esecuzione sul tuo database: il text-to-SQL in casa, numeri dal benchmark ARCS e dove si rompe davvero.
gpt-oss: il modello di ragionamento open di OpenAI
21B di parametri totali ma solo 3,6B attivi, pesi nativi in MXFP4 e 128K di contesto: il primo modello di ragionamento open di OpenAI sta in 16GB. Cosa significa in pratica.
Quantizzazione: ottenere di più dallo stesso hardware
La quantizzazione riduce la precisione dei pesi (da FP16 a 4-8 bit) per far entrare i modelli in meno VRAM e generare più token al secondo. Livelli, dimensioni reali di Qwen2.5 14B, regola di scelta da Q4_K_M e limiti (codice, ragionamento, lingue diverse dall'inglese).
Open WebUI: l'interfaccia per la tua IA locale
Open WebUI è l'interfaccia web completa per i tuoi modelli locali: installazione Docker, connessione a Ollama, personalizzazione per modello, RAG con documenti e limiti onesti.