Context window e token: come funziona la memoria degli LLM

Se usi un modello AI da un po', ti sarà capitato: in una conversazione lunga il modello inizia a dimenticare cose dette prima, oppure ti avvisa che hai superato un limite. Dietro c'è un concetto che vale la pena capire bene, perché spiega buona parte del comportamento — e dei costi — di questi strumenti: la finestra di contesto. In questo articolo ti spiego cos'è, come si misura in token e come conviene gestirla.

Cos'è la context window

La finestra di contesto è la quantità massima di testo che un modello può tenere davanti a sé mentre elabora una risposta. Comprende tutto: le istruzioni di sistema, l'intera conversazione precedente, i documenti che hai allegato e la risposta che sta generando.

La cosa che sorprende di più chi la scopre è questa: il modello non ha memoria. Non ricorda nulla della conversazione tra un messaggio e l'altro. A ogni tuo messaggio, l'intera conversazione viene rispedita al modello dall'inizio.

Quella che sembra memoria è semplicemente il testo precedente reinviato ogni volta. È una conseguenza diretta di come è fatta l'architettura Transformer: il modello elabora una sequenza e produce il token successivo, senza conservare nulla tra una chiamata e l'altra.

Come si misura: i token

La finestra non si misura in parole o caratteri, ma in token — frammenti di testo in cui il modello suddivide quello che legge.

Regole pratiche per l'italiano:

• 1 token ≈ 3-4 caratteri
• 1.000 token ≈ 700-750 parole
• Una pagina A4 di testo ≈ 500-700 token
• L'italiano consuma circa il 15-25% di token in più dell'inglese a parità di contenuto, perché i tokenizzatori sono ottimizzati sull'inglese

Questo dettaglio ha un impatto economico reale: lo stesso lavoro fatto in italiano costa strutturalmente di più di quello fatto in inglese. Per approfondire il concetto: cos'è un token in un LLM.

Quanto sono grandi le finestre oggi

Nel 2026 i modelli principali offrono finestre nell'ordine delle centinaia di migliaia di token, con alcuni che arrivano al milione. Per darti un ordine di grandezza:

Finestra	Equivale circa a
8.000 token	Un articolo lungo
128.000 token	Un libro breve, o una codebase piccola
200.000 token	Un romanzo intero
1.000.000 token	Diverse migliaia di pagine

Le cifre cambiano di mese in mese, quindi vale la pena verificarle sulla documentazione ufficiale del modello che usi.

Input e output non sono la stessa cosa

Una distinzione che genera parecchia confusione: la finestra di contesto e il limite di output sono due limiti diversi.

Un modello può avere 200.000 token di finestra ma un massimo di 8.000 token generabili in una singola risposta. Puoi dargli in pasto un libro intero, ma non può restituirtene uno.

E i due tipi di token costano cifre diverse: l'output costa tipicamente da 3 a 5 volte l'input. È il motivo per cui chiedere risposte concise non è solo una questione di leggibilità: incide direttamente sul conto.

Cosa succede quando la finestra si riempie

Non succede nulla di magico, e conviene sapere cosa aspettarsi.

Troncamento. Molti sistemi tagliano semplicemente la parte più vecchia della conversazione. Il modello smette di "ricordare" quello che avevi detto all'inizio — non perché lo abbia dimenticato, ma perché quel testo non gli viene più inviato.

Riassunto automatico. Alcuni strumenti comprimono la parte iniziale in un riassunto. Si conserva il senso generale, ma i dettagli precisi si perdono.

Errore. Le API tendono a rifiutare la richiesta e basta.

C'è poi un fenomeno documentato e importante da conoscere: "lost in the middle". Anche stando dentro il limite, i modelli tendono a prestare più attenzione all'inizio e alla fine del contesto che alla parte centrale. Un'informazione cruciale sepolta a metà di un documento lungo ha buone probabilità di essere trascurata.

La conseguenza pratica è controintuitiva: riempire la finestra non migliora i risultati, spesso li peggiora. Meglio poco contesto ma pertinente che tanto contesto generico.

Perché il costo cresce in fretta

Qui torna utile capire il meccanismo dell'attention: ogni token deve rapportarsi a tutti gli altri. Il lavoro di calcolo cresce con il quadrato della lunghezza, non in modo proporzionale.

Raddoppiare il contesto non raddoppia il costo computazionale: lo quadruplica. È il motivo per cui le finestre molto grandi restano costose e più lente, anche quando sono tecnicamente disponibili.

E in una conversazione c'è un effetto cumulativo che sfugge a molti: al ventesimo messaggio stai rinviando tutti i diciannove precedenti. Una conversazione lunga costa molto più di venti conversazioni brevi separate, a parità di contenuto utile.

Su come contenere questa spesa ho scritto una guida dedicata: come spendere meno token con l'AI.

Come gestirla bene, in pratica

Apri una conversazione nuova quando cambi argomento. È la singola abitudine che fa più differenza, sia sui costi che sulla qualità delle risposte. Trascinarsi dietro venti messaggi su un altro tema aggiunge solo rumore.

Metti le istruzioni importanti all'inizio e la richiesta specifica alla fine. Sfrutta il fatto che le estremità ricevono più attenzione del centro.

Dai solo il contesto pertinente. Incollare un file di duemila righe quando servono trenta funzioni non aiuta il modello: lo distrae. Vale anche quando lavori sul prompt engineering.

Per grandi quantità di documenti, usa il RAG. Invece di caricare tutto nella finestra, un sistema RAG recupera solo i pezzi rilevanti alla domanda e passa quelli. È più economico, più veloce e spesso più preciso di riempire una finestra enorme.

Sfrutta il caching del prompt. Se riusi lo stesso contesto lungo su più richieste, molti provider offrono una cache che abbatte il costo della parte ripetuta. Su flussi ripetitivi il risparmio è consistente.

Chiedi risposte concise quando il formato lungo non serve. L'output è la parte cara.

Un equivoco da chiarire

Finestra grande non significa comprensione migliore.

Un modello con un milione di token di contesto non "capisce" un libro meglio di quanto un modello più piccolo capisca un capitolo. Significa solo che può averne davanti di più contemporaneamente. La qualità del ragionamento dipende dal modello, non dalla capienza.

E vale sempre il limite di fondo: il modello continua a prevedere il token più plausibile, non a verificare i fatti. Un contesto più ampio riduce alcuni errori dovuti a informazioni mancanti, ma non elimina le allucinazioni.

In sintesi

La finestra di contesto è tutto ciò che il modello ha davanti in un dato momento, misurato in token. Non è memoria: a ogni messaggio l'intera conversazione viene rispedita da capo, ed è per questo che le conversazioni lunghe costano progressivamente di più.

Le cose utili da portarsi a casa: l'italiano consuma più token dell'inglese, l'output costa più dell'input, il costo di calcolo cresce col quadrato della lunghezza, e le informazioni al centro di un contesto lungo ricevono meno attenzione di quelle alle estremità.

La regola pratica che ne deriva è una sola: contesto pertinente, non contesto abbondante. Conversazioni brevi e mirate battono quasi sempre una finestra riempita fino all'orlo.

Se vuoi capire davvero come funzionano questi strumenti e usarli con criterio invece che a tentativi, nei corsi Codegrind si parte dai meccanismi e si arriva alla pratica.