Glossario IA Locale

Piccolo file di pesi addestrati (matrici di rango basso) che si aggiunge al modello base senza modificarlo: di pochi MB, si carica e si rimuove a piacere, e lo stesso modello può portare più adattatori per comportamenti diversi.

Processo di addestramento aggiuntivo su un modello pre-addestrato, usando un dataset specifico per specializzarlo in un compito particolare. Ad esempio, si può fare il fine-tuning di Llama 7B con documenti legali per creare un modello esperto in diritto. Tecniche popolari includono LoRA e QLoRA.

Low-Rank Adaptation. Tecnica di fine-tuning efficiente che aggiorna solo una piccola frazione dei pesi del modello invece di tutti i parametri. LoRA permette di addestrare un modello 7B su una singola GPU consumer, generando file di adattamento di pochi MB invece di gigabyte.

Parameter-Efficient Fine-Tuning. Famiglia di tecniche che addestra una piccola frazione dei parametri del modello (LoRA, adattatori, prompt learnable) invece di tutti i pesi, riducendo memoria e tempo di addestramento.

Un algoritmo di reinforcement learning che ottimizza la policy di un agente limitando l'entità di ogni aggiornamento: addestramento stabile anche con ambienti simulati ad alto rumore. È lo standard de facto per gli agenti che devono giocare, muoversi o manipolare oggetti.

Quantized Low-Rank Adaptation. Variante di LoRA che quantizza il modello base a 4 bit (NF4) prima dell'addestramento: consente di adattare modelli fino a 65B su una singola GPU da 48 GB, con adattatori di pochi MB.

Addestramento per prova e premio: l'agente agisce in un ambiente e riceve un segnale (reward) per ogni esito. Confrontato col fine-tuning su esempi scritti a mano, il RL impara da interazioni complete — e brilla quando esiste un task verificabile, che dice da solo se è riuscito (es. la calcolatrice mostra il risultato). È il passo di post-training che ha portato OpenMobile-2 da 31.9 a 59.6 su SPA-Bench.