Vai al contenuto principale
Casi d’usoAvanzato7 min di lettura

SynthAPI: ambienti sintetici e scaling laws per allenare agenti tool-use

i
iaLocale Team
•
SynthAPI: ambienti sintetici e scaling laws per allenare agenti tool-use

Un agente tool-use impara a usare i tool in due modi: lo glielo insegna il training, o lo impara al volo nel contesto. Il primo modo, però, richiede un ambiente dove esercitarsi: tool che rispondono, errori che tornano, task che si ripetono. L'ambiente più comodo per esercitarsi è il tuo server locale, ma i tool reali — le API vere con cui l'agente deve fare i conti in produzione — costano, mutano e a volte non vanno toccati.

Il paper SynthAPI, pubblicato su arXiv, parte da qui: costruire ambienti sintetici controllati in cui allenare agenti che usano i tool, senza toccare le API reali.

Il problema: allenare un agente serve ripetizione

Un modello che deve fare tool calling non impara guardando esempi: impara provando. Ogni task — "prenota un volo", "esporta il report in CSV" — produce una sequenza di chiamate, risposte, errori, correzioni. Per raggiungere un livello affidabile su un set di task serve ripetere quel ciclo migliaia di volte, con varianti: input leggermente diversi, tool che falliscono in modi diversi, risposte più lunghe o più corte.

In un ambiente reale questa ripetizione ha un prezzo triplo:

  • Costo: ogni chiamata di un agente passa token di contesto (prompt, tool result, ragionamento) al modello; con un modello frontier via API ogni task ripetuto è denaro che va in un provider esterno.
  • Fragilità: le API reali mutano, applicano rate limit, cambiano schema. Un task di training che si basava sul comportamento di ieri oggi fallisce per un cambio di campo, non per colpa dell'agente.
  • Rumore: i fallimenti reali sono imprevedibili. Se stai misurando quanto l'agente migliora, un errore 500 inatteso del backend ti sporca la metrica.

L'idea: un ambiente sintetico con fallimenti regolati a piacere

SynthAPI propone di sostituire i tool veri con delle simulazioni: API sintetiche che hanno lo stesso schema delle vere (stessi endpoint, stessi campi), ma il cui comportamento è sotto il tuo controllo. Il punto chiave è la controllabilità del fallimento: puoi far fallire il tool simulato con una probabilità che decidi tu, in modi che decidi tu.

Perché serve a fare training. Un agente che non ha mai visto un errore non impara a gestirlo: al primo 429 in produzione si blocca. In un ambiente sintetico puoi iniettare esattamente il mix di fallimenti che vuoi — timeout, campi mancanti, rate limit — e misurare se la politica dell'agente migliora o peggiora al variare di quel mix. È l'equivalente del simulatore di volo per i piloti: non è il cielo, ma è il luogo in cui si addestra il comportamento che in cielo non si può provare.

Le scaling laws del paper: quante task servono, e quanto cambiano

SynthAPI non si ferma a "facciamo un ambiente sintetico". Studia come compongono i dati sintetici e come il numero di task necessari scala con l'obiettivo. Il risultato centrale, espresso nel paper come una relazione logaritmica: il numero di task sintetici necessari per raggiungere un certo tasso di successo cresce logaritmamente rispetto a quel tasso.

In pratica, tradotto in numeri di esempio (le costanti esatte dipendono dal dataset e dal modello, il rapporto è quello del paper):

  • per arrivare a un 90% di successo su un set di 200 task servono all'ordine di 3.500 task sintetici;
  • per arrivare al 95% servono all'ordine di 7.100 task sintetici.

Lettura: dai 90 ai 95 punti percentuali il costo in dati raddoppia. Questo è il tipo di fatto che cambia un piano di progetto: se il tuo caso d'uso non ha bisogno del 95%, non pagare il raddoppio. Il paper mostra anche che la qualità dei dati sintetici — varietà dei task, distribuzione dei fallimenti — pesa più della quantità pura: a parità di task, un ambiente che copre bene la distribuzione dei fallimenti batte uno che ripete lo stesso schema.

Il conto: sintetico locale vs frontier API

Il punto dell'articolo, però, è il dove. L'ambiente sintetico gira meglio — e costa di meno — se il modello che genera task e fa le ripetizioni è tuo. Facciamo un conto su 10.000 task sintetici, ognuno con all'ordine di 5.000 token di contesto (prompt + tool call + risposte), su un batch di generazione che richiede circa 150 ore-GPU di lavoro spalmate:

ViaIpotesi di costo10.000 taskCosto per task
GPU 24 GB tua (RTX 4090, ~0,25 kWh/10.000 task, €0,25/kWh)energia: 6,25 kWh → ~€1,6~€1,6 (ammortamento hardware escluso)~€0,0002
Serverless GPU (€1,50/ora)150 h → €225€225€0,0225
API frontier (input $3 / 1M token, ~20% output)50M input + 10M output ≈ $170~€158~€0,016

Il dato che conta: un ambiente di addestramento che su API frontier costa ~€158 per 10.000 task costa ~€1,6 in energia su hardware che hai già — e i dati non lasciano la tua macchina. Non è un argomento da 10.000 euro, ma è il tipo di moltiplicatore che rende ragionevole fare più iterazioni: e nel paper la qualità scala con la quantità di task, non con l'eleganza del setup. I prezzi API e l'energia sono le ipotesi di un batch tipico; rimisurali per il tuo caso.

E i limiti?

Onestà, perché il sintetico ha un confine che il paper stesso delimita:

  • Distribuzione spostata: l'ambiente sintetico imita lo schema dei tool, non le stranezze vere — risposte inaspettate, errori di messaggistica, latenza che varia. Un agente troppo addestrato sul sintetico può performare bene in simulazione e peggio in produzione. Il paper lo gestisce calibrando il tasso di fallimento; tu lo gestisci validando l'agente su una batteria di chiamate reali tenute da parte, prima di fidarti.
  • Tetto del modello: i task sintetici migliorano la politica di un modello, non creano capacità che non ci sono. Un modello che non sa fare tool calling alla base non impara per magia con i task sintetici.
  • Validazione: il tasso di successo misurato in ambiente sintetico è una proxy. La metrica che conta è sempre quella sull'ambiente di destinazione, anche se piccola.

Come lo usi, in pratica

Se stai costruendo un agente locale che deve imparare i tuoi tool, il pattern che il paper suggerisce si riduce a quattro passi:

  1. Scrivi lo schema dei tuoi tool (nome, parametri, tipi di risposta, modi di fallire) — è il contratto che l'ambiente sintetico deve rispettare.
  2. Genera i task sintetici in locale: un modello sul tuo hardware produce input, tool result, scenari di errore. Qui serve contesto ampio e ripetizione, ed è proprio il caso in cui la KV cache ti fa sentire la RAM che hai, non quella che ti saresti aspettato.
  3. Regola il mix di fallimenti e misura il tasso di successo su un subset di validazione che non entra nel training.
  4. Valida in produzione con una batteria di chiamate reali: se il salto dal sintetico al reale è piccolo, il setup ha funzionato.

Se il tuo stack di agenti gira già su Ollama, il confronto tra i motori ti dice dove sta il collo di bottiglia — perché in un pipeline di generazione di task sintetici il collo di bottiglia è quasi sempre l'inferenza, non i dati.

Fonti

In sintesi

SynthAPI mostra che un agente tool-use si può allenare in un ambiente sintetico controllato, con la stessa struttura dei tool reali ma fallimenti regolati a piacere. Il numero di task sintetici cresce logaritmamente rispetto al tasso di successo che vuoi: dai 90 ai 95 punti percentuali il costo in dati raddoppia, e non tutti i casi d'uso pagano quel salto. Girare il batch di generazione su hardware proprio — i conti sopra mostrano ~€1,6 di energia contro ~€158 di API per 10.000 task — moltiplica il numero di iterazioni possibili a parità di budget, e tiene i dati di training dentro casa. Il limite è la fedeltà alla distribuzione reale: la validazione su chiamate vere resta l'ultimo arbitro.

Articolo generato con IA

In questi percorsi

Condividi:

Ti è piaciuto questo articolo?

Iscriviti alla newsletter per ricevere nuovi tutorial e guide.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Articoli Correlati

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.