Cos'è l'A/B testing e come farlo senza prendere abbagli

"Abbiamo cambiato il colore del pulsante e le conversioni sono salite del 30%." Frasi come questa circolano parecchio, e quasi sempre descrivono un test fatto male: campione troppo piccolo, chiuso appena i numeri sembravano buoni. In questo articolo ti spiego come si imposta un A/B test che dice qualcosa di vero, quanti dati servono davvero e perché la maggior parte dei test dichiarati vincenti non lo sono.

Cos'è l'A/B testing

L'A/B testing è un esperimento controllato: mostri due versioni di una pagina a due gruppi di utenti scelti a caso, nello stesso periodo, e misuri quale ottiene risultati migliori su un obiettivo definito prima di iniziare.

I tre elementi che lo rendono valido sono tutti nella definizione:

• A caso — chi entra nel gruppo A o B non lo decidi tu né lo decide un criterio (dispositivo, provenienza, orario)
• Nello stesso periodo — confrontare questa settimana con la scorsa non è un A/B test, è un confronto tra periodi diversi, in cui cambiano mille variabili
• Obiettivo definito prima — se scegli cosa misurare dopo aver visto i dati, troverai sempre qualcosa che sembra funzionare

Senza queste tre condizioni non stai testando: stai raccogliendo aneddoti.

Come si imposta

1. Parti da un'ipotesi, non da un'idea. Non "proviamo il pulsante verde", ma: "il modulo chiede 7 campi e il 60% lo abbandona a metà; riducendoli a 3 credo che i completamenti salgano". Un'ipotesi ha un ragionamento dietro, ed è verificabile.

Le ipotesi migliori nascono dai dati che hai già: le pagine con abbandono alto in Google Analytics, le registrazioni di sessione, quello che chiede l'assistenza clienti.

2. Scegli una metrica sola. Quella che conta davvero — di solito una conversione, non un click intermedio. Se ne guardi otto, una sembrerà migliorata per puro caso.

3. Calcola quanto campione serve, prima di partire. È il passaggio che quasi tutti saltano ed è quello che rende il test valido o inutile.

4. Fallo girare per settimane intere. Il comportamento del martedì è diverso da quello della domenica. Fermarsi al quinto giorno significa misurare un pezzo di settimana, non il tuo pubblico. Minimo una settimana intera, meglio due.

5. Decidi solo alla fine. Sbirciare ogni giorno e fermarsi appena i numeri piacciono è il modo più efficace per prendere il rumore statistico per un risultato.

Quanti dati servono davvero

Questa è la parte che ridimensiona le aspettative, ed è meglio saperla prima.

Il campione necessario dipende da due cose: il tasso di conversione attuale e quanto piccolo è il miglioramento che vuoi riuscire a rilevare — l'MDE, minimum detectable effect.

Ordini di grandezza, partendo da un tasso di conversione del 3%:

Miglioramento da rilevare	Visite per variante
+50% (da 3% a 4,5%)	~2.500
+20% (da 3% a 3,6%)	~14.000
+10% (da 3% a 3,3%)	~55.000
+5% (da 3% a 3,15%)	~220.000

Nota come cresce: dimezzare l'effetto che vuoi rilevare quadruplica il campione necessario.

La conseguenza pratica è netta: se hai poche migliaia di visite al mese, non puoi rilevare miglioramenti piccoli. Non è un limite degli strumenti, è matematica. Puoi solo testare cambiamenti grossi — una pagina riscritta, un'offerta diversa, un flusso ripensato — e quelli sì, si vedono.

Testare il colore di un pulsante con 800 visite al mese non produce informazione: produce solo la sensazione di aver fatto un test.

Significatività: cosa dice e cosa no

Gli strumenti riportano un livello di confidenza, di solito il 95%. Vale la pena capire cosa significa davvero.

Il 95% di confidenza vuol dire che, se non ci fosse alcuna differenza reale tra le due versioni, avresti solo il 5% di probabilità di osservare uno scarto grande come quello che vedi.

Non significa "c'è il 95% di probabilità che B sia migliore", che è la lettura intuitiva ma sbagliata.

E il 5% residuo non è teorico: su venti test senza alcun effetto reale, in media uno risulta "vincente" per puro caso. Se testi molte cose e tieni solo quelle che passano, stai collezionando falsi positivi con l'apparenza del metodo.

Da qui l'errore più costoso di tutti: fermare il test appena raggiunge il 95%. La significatività oscilla di giorno in giorno. Se guardi in continuazione e ti fermi al primo picco favorevole, la tua probabilità reale di sbagliare non è il 5% — è molto più alta. La durata si fissa prima e non si tocca.

Gli errori più frequenti

Cambiare troppe cose insieme. Se modifichi titolo, immagine e pulsante e le conversioni salgono, non sai quale dei tre ha funzionato — né se uno stava peggiorando le cose mentre un altro le migliorava.

Testare durante un periodo anomalo. Black Friday, saldi, una campagna che porta traffico diverso dal solito. Il risultato vale per quel periodo, non in generale.

Guardare i click invece delle conversioni. Un pulsante più aggressivo aumenta i click e può abbassare gli acquisti. È lo stesso meccanismo del CTR gonfiato di cui parlo nel glossario delle metriche: ottimizzare in cima all'imbuto ignorando il fondo.

Dimenticare l'effetto novità. Gli utenti abituali reagiscono a un cambiamento perché è nuovo. Dopo qualche settimana l'effetto rientra.

Non contare i test negativi. Un test che non trova differenze è un risultato: ti ha risparmiato una modifica inutile. In media, la maggior parte dei test non produce un vincitore — è normale, non un fallimento del metodo.

Cosa vale la pena testare

Con un traffico limitato, conviene concentrarsi su ciò che può muovere numeri grossi:

• L'offerta e il prezzo — la leva più potente in assoluto
• Il titolo principale e la promessa della pagina
• La lunghezza dei moduli — spesso il singolo intervento con più impatto
• Il flusso di checkout, dove si perde più gente
• La struttura della pagina, non i dettagli estetici

E se il traffico non basta per test statisticamente validi, ci sono alternative oneste che danno più informazione: parlare con cinque utenti mentre usano il sito, guardare le registrazioni delle sessioni, leggere le richieste di assistenza. Con pochi dati, la ricerca qualitativa batte un test statistico fatto male.

Migliorare il tasso di conversione non è un dettaglio: come spiego in LTV e CAC, raddoppiarlo dimezza il costo di acquisizione senza spendere un euro in più.

In sintesi

L'A/B testing è un esperimento controllato, e vale quanto vale il metodo: assegnazione casuale, stesso periodo, obiettivo scelto prima, durata fissata in anticipo.

I due numeri da tenere a mente sono la dimensione del campione e la durata. Servono molti più dati di quanto si immagini — e con poco traffico si possono rilevare solo cambiamenti sostanziali, non sfumature.

Il test più pericoloso non è quello che fallisce: è quello fatto male che sembra riuscito, perché ti porta a costruire sopra una conclusione falsa. Se non hai il traffico per un test valido, dirlo apertamente e decidere con altri strumenti è più utile che inseguire un 95% raggiunto sbirciando.

Se vuoi capire quali numeri guardare e quali interventi hanno davvero impatto sul tuo progetto, la consulenza business online parte esattamente da qui.