Vai al contenuto principale
← Torna alle notizie

llama.cpp: rapporto settimanale 7–14 settembre — build b4991, bug di thinking di Gemma 4 corretto e driver Vulkan r615 per la CI

On-device e edge
Fonte:Weekly Project News (Buttondown)
Il report settimanale del progetto llama.cpp copre la build corrente b4991 e le attività della settimana: un bug in cui Gemma 4 in Modalità thinking produceva output progressivamente corrotti in coda è stato risolto trimmando gli spazi nel chat template; i runner CI Vulkan sono stati aggiornati al driver NVIDIA r615, e il report analizza i problemi più attivi della community.
Leggi l'articolo originale

Articoli correlati

NVIDIA, AMD e Intel per l'IA locale: quale piattaforma scegliere

CUDA, ROCm o Vulkan? Confrontiamo le tre piattaforme per l'IA locale sulla base di ciò che è davvero disponibile: stack software ufficiali, schede per fascia di VRAM (12, 16 e 24GB) e velocità reali. Dove resta la scelta ovvia, dove AMD batte per rapporto qualità-prezzo e quando ha senso uscire da NVIDIA.

Nemotron 3.5 Bolt: il MoE da 74B di NVIDIA con ~9B attivi, cosa cambia sul desktop

74 miliardi di parametri, 9B attivi: il MoE di NVIDIA per le attività agentiche in locale sta in 24GB di VRAM grazie alla quantizzazione IQ2. VRAM reale, benchmark dichiarati e limiti onesti.

Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale

NVIDIA ha rieditato Nemotron Parse (v1.1, v1.2, 2.0) nella stessa settimana del 20 ottobre: meno di 1 miliardo di parametri, struttura della pagina inclusa. Setup in locale con vLLM e limiti onesti.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

💎

Gemma 3

Modelli

Famiglia di modelli open di Google nelle taglie 1B, 4B, 12B e 27B. Contesto di 128K token, oltre 140 lingue supportate e input multimediali (testo e immagini). Ottima scelta per RAG e documenti lunghi su hardware consumer.

💎

Gemma 3 4B

Modelli

La taglia compatta della famiglia Gemma 3 di Google: 4,32B di parametri, contesto di 128K token e supporto nativo a 140+ lingue (incluso l'italiano), con input testo+immagini. Licenza Gemma (uso commerciale con condizioni). In Q4_K_M occupa circa 2,9GB: gira su GPU da 8GB e su CPU moderne.

💎

Gemma 4 12B

Modelli

La taglia 12B della famiglia Gemma 4 di Google: 11,95B dense, contesto 256K e multimodalità integrata senza encoder separati (testo+immagini+audio). Licenza Apache 2.0. In Q4_K_M occupa circa 7,4GB: il punto di equilibrio tra qualità e requisiti hardware per l'uso locale su 8-16GB.

💎

Gemma 4 26B A4B

Modelli

Il modello MoE della famiglia Gemma 4: 25,2B di parametri totali con 3,8B attivi per token. Contesto 256K, input testo+immagini, oltre 140 lingue, Apache 2.0. In Q4_K_M pesa circa 16,8GB: la scelta per chi ha 24GB di VRAM e vuole qualità da modello grande con velocità da modello piccolo.

Sfoglia tutte le risorse