Cos'è un Transformer: l'architettura dietro ChatGPT spiegata

Dietro ChatGPT, Claude, Gemini e praticamente ogni modello AI di cui senti parlare c'è la stessa architettura: il Transformer. È nata da un articolo di ricerca del 2017 e ha ridisegnato l'intero settore nel giro di pochi anni. In questo articolo ti spiego cos'è e come funziona senza matematica — perché capire il meccanismo aiuta molto a intuire cosa questi modelli sanno fare e cosa no.

Cos'è un Transformer in parole semplici

Il Transformer è un'architettura di rete neurale che elabora una sequenza intera in parallelo, e per ogni elemento decide a quali altri elementi della sequenza prestare attenzione. Quel meccanismo di scelta si chiama attention, ed è l'idea che rende il tutto possibile.

Il paper che la introdusse, nel 2017, si intitolava Attention Is All You Need — "l'attenzione è tutto ciò che serve". Il titolo diceva già la tesi: buttiamo via il resto, tenere solo l'attention basta.

Se le reti neurali in generale ti sono poco chiare, ti conviene partire da cos'è una rete neurale.

Il problema che risolveva

Prima del 2017, per elaborare il linguaggio si usavano le reti ricorrenti (RNN, LSTM). Leggevano il testo una parola alla volta, in ordine, portandosi dietro una memoria di quello che avevano letto prima.

Due problemi grossi:

Erano lente per costruzione. Per elaborare la parola numero 100 dovevi aver già elaborato le 99 precedenti. Nessun parallelismo possibile, quindi nessun modo di sfruttare davvero le GPU.

Dimenticavano. In una frase lunga, l'informazione della prima parola arrivava all'ultima molto sbiadita. Su testi lunghi le dipendenze a distanza andavano perse.

Il Transformer elimina entrambi i problemi in un colpo solo: guarda tutta la sequenza insieme. Ogni parola può collegarsi direttamente a qualunque altra, vicina o lontana che sia, e tutti i calcoli si possono fare in parallelo.

L'attention, spiegata bene

L'attention è il cuore della cosa, e si capisce meglio con un esempio.

Prendi la frase: "Il cane ha inseguito il gatto perché era spaventato."

Chi era spaventato, il cane o il gatto? Un essere umano lo intuisce dal contesto. Il modello deve fare la stessa operazione: per interpretare "era", deve capire a cosa si riferisce.

L'attention fa esattamente questo. Per ogni parola calcola un punteggio di rilevanza verso tutte le altre parole della frase. Elaborando "era", il modello attribuirà un peso alto a "gatto" e uno più basso a "inseguito" o a "il".

Il meccanismo funziona con tre elementi per ogni parola:

• Query — "che tipo di informazione sto cercando?"
• Key — "che tipo di informazione posso offrire?"
• Value — "ecco il contenuto che porto"

Ogni Query viene confrontata con tutte le Key: dove c'è buona corrispondenza, il Value corrispondente pesa di più nel risultato. È, in sostanza, un sistema di recupero delle informazioni applicato dentro la frase stessa.

Multi-head attention

Un solo meccanismo di attention coglie un tipo di relazione alla volta. I Transformer ne usano molti in parallelo — le head, tipicamente da 12 a oltre 100.

Ogni head impara a specializzarsi su un aspetto diverso: una segue le relazioni grammaticali, una i riferimenti dei pronomi, una la vicinanza semantica. I risultati vengono poi combinati. È come leggere la stessa frase con decine di lenti diverse contemporaneamente.

Come è fatto, a blocchi

Semplificando parecchio, un Transformer moderno da linguaggio funziona così:

1. Tokenizzazione. Il testo viene spezzato in token — pezzi di parola. Ne parlo in cos'è un token in un LLM.

2. Embedding. Ogni token diventa un vettore di numeri che ne rappresenta il significato. Gli embedding sono il ponte tra le parole e la matematica.

3. Positional encoding. Poiché tutto viene elaborato in parallelo, il modello non saprebbe l'ordine delle parole. Si aggiunge quindi un'informazione di posizione: senza di essa "il cane morde l'uomo" e "l'uomo morde il cane" sarebbero identici.

4. Gli strati. Il blocco attention + rete feed-forward viene ripetuto molte volte — decine di strati nei modelli grandi. Ogni strato costruisce una rappresentazione più astratta della precedente.

5. Output. L'ultimo strato produce una probabilità per ogni token possibile. Il modello sceglie il prossimo token, lo aggiunge al testo, e ricomincia.

Sì: è tutto qui. Un modello linguistico non pianifica la risposta e poi la scrive. Genera un token alla volta, e ogni volta rilegge tutto quello che c'è prima. Il fatto che ne esca un ragionamento coerente è la parte sorprendente della faccenda.

Perché ha cambiato tutto

Il Transformer non è stato solo migliore delle RNN: ha reso possibile una cosa che prima non lo era.

Si parallelizza. Puoi addestrare su migliaia di GPU insieme. Le RNN, per come sono fatte, no. È questo che ha permesso di passare da modelli con milioni di parametri a modelli con centinaia di miliardi.

Scala in modo prevedibile. Si è scoperto che aumentando dati, parametri e potenza di calcolo le prestazioni migliorano secondo curve regolari. Questo ha reso l'investimento pianificabile — ed è il motivo per cui sono partiti i miliardi.

Funziona su tutto. Nato per la traduzione, si è rivelato adatto anche a immagini (Vision Transformer), audio, codice, proteine. La stessa architettura, domini completamente diversi.

I limiti che restano

Capire il meccanismo aiuta a capire i difetti, che non sono bug ma conseguenze del design.

Il costo cresce col quadrato della lunghezza. Ogni token guarda tutti gli altri: raddoppiare il testo in ingresso quadruplica il lavoro. Ecco perché la finestra di contesto è limitata e perché i costi in token salgono in fretta.

Il modello non ha memoria tra una richiesta e l'altra. Ogni volta rilegge tutto da capo. Quello che sembra "ricordare" della conversazione è semplicemente il testo precedente reinviato a ogni turno.

Predice, non verifica. Il Transformer sceglie il token statisticamente più plausibile dato il contesto. Non ha un meccanismo che controlli se quello che scrive è vero. È la radice strutturale delle allucinazioni, e il motivo per cui non spariranno con un semplice aggiornamento.

Sa solo quello che ha visto nei dati di addestramento, fino a una certa data. Per aggirare il limite si usano il RAG o il fine-tuning.

Serve saperlo, in pratica?

Se il tuo lavoro è usare l'AI, non ti serve saper implementare l'attention. Ma conoscere il meccanismo cambia il modo in cui usi questi strumenti:

• Capisci perché il contesto costa e perché conviene essere sintetici
• Capisci perché l'ordine delle informazioni nel prompt conta — è utile quando lavori sul prompt engineering
• Capisci perché il modello inventa con la stessa sicurezza con cui dice cose vere
• Smetti di aspettarti che ragioni come una persona, e inizi a usarlo per quello che è

In sintesi

Il Transformer è l'architettura che ha reso possibile l'AI generativa attuale. La sua idea centrale è l'attention: ogni elemento di una sequenza può guardare direttamente tutti gli altri e pesarne la rilevanza, invece di leggere in ordine e dimenticare.

Questo ha sbloccato l'addestramento in parallelo su scala enorme, e da lì è nato tutto il resto. Ma la stessa architettura spiega anche i limiti: costo che esplode con la lunghezza, nessuna memoria persistente, nessuna verifica dei fatti.

Non è una macchina che capisce: è una macchina che, avendo visto una quantità sterminata di testo, prevede molto bene cosa viene dopo. Sapendolo, la usi meglio.

Se vuoi capire l'AI dalle fondamenta invece di limitarti a usarla, nei corsi Codegrind trovi percorsi che partono dai concetti e arrivano alla pratica.