Vai al contenuto principale
← Torna al glossario

Compressione del contesto

Tecniche

Tecnica per ridurre la parte di contesto inviata al modello in un passo di ragionamento, eliminando o riassumendo porzioni recuperate o di storico che il passo corrente non usa. Esempi: riassunti generati da un altro modello (ACON, Context-Folding), rimozione di token con una policy appresa (LLMLingua-2), o selezione dei chunk in base all'attenzione del modello stesso (QRAE). Su agenti multi-step riduce token e latenza senza, quando è ben fatta, degradare la qualità.

Articoli correlati

Questo termine in altre lingue