Sigrid dirige il team di assistenza clienti di un'azienda che produce software di contabilità. Per sei settimane, il suo team ha sperimentato un assistente AI che risponde alle richieste più semplici prima che vengano prese in carico da una persona. Alla riunione di valutazione, Darragh, il product manager che ha promosso il progetto, apre con una slide.
"Tre risultati positivi", dice. "La soddisfazione dei clienti francofoni è aumentata. I ricontatti del giovedì sono diminuiti. E le richieste sulla fatturazione vengono chiuse l'11% più in fretta. L'assistente funziona."
Sigrid guarda la dashboard dell'assistenza sul portatile. Tiene traccia di una trentina di indicatori. La maggior parte è rimasta invariata. Due sono leggermente peggiorati. I tre risultati citati da Darragh sono veri, ma prima della sperimentazione nessuno aveva detto che l'obiettivo fosse migliorare la soddisfazione dei clienti francofoni o ridurre i ricontatti del giovedì.
Darragh non ha mentito. Ha sparato contro un fienile e poi ha disegnato il bersaglio attorno ai fori. Questo modo di ragionare ha un nome: fallacia del cecchino texano. Vediamo che cos'è, perché è così convincente, dove si presenta e quali domande aiutano a distinguere uno schema reale da un bersaglio disegnato dopo.
Che cos'è la fallacia del cecchino texano?
La fallacia del cecchino texano consiste nell'individuare uno schema nei dati dopo aver visto i risultati e nel presentarlo come significativo, o come se fosse stato previsto fin dall'inizio. Si mettono in evidenza i colpi andati a segno e si ignorano tutti gli altri. Gli stessi dati vengono usati due volte: prima per trovare lo schema, poi per "dimostrarlo".
Il nome viene da una vecchia barzelletta. Un uomo spara contro la parete di un fienile, poi si avvicina e dipinge un bersaglio attorno al gruppo di fori più ravvicinati. Chi vede il fienile in seguito pensa che sia un tiratore eccezionale.
Ci sono tre segnali rivelatori:
- Il bersaglio arriva dopo gli spari. L'affermazione nasce dall'osservazione dei risultati, non viene formulata prima.
- C'erano molti posti in cui guardare. Si poteva trovare uno schema tra tanti indicatori, gruppi, periodi o luoghi diversi.
- I colpi mancati spariscono. Nessuno parla degli altri ventisette indicatori che non sono migliorati.
È la voce 21 della nostra guida alle fallacie logiche. Qui andiamo più a fondo, perché la parte difficile è accorgersi di quando siamo noi ad avere il pennello in mano.
Da dove viene il nome
Non si sa chi abbia raccontato per primo la barzelletta. Uno dei primi riferimenti noti in un testo pubblicato risale al 1977: un articolo sulla malattia di Hodgkin apparso sulla rivista medica Cancer, a firma dell'epidemiologo Seymour Grufferman. Parlando di gruppi di casi individuati a posteriori, osservava che "questi raggruppamenti a posteriori sono analoghi alla storia del cecchino texano" e che, da soli, non permettono di stabilire se vadano oltre ciò che ci si aspetterebbe per caso.
È proprio in epidemiologia che l'idea ha trovato una delle sue applicazioni più importanti. Davanti a un gruppo di casi, la prima domanda è: sarebbe sorprendente osservarlo anche se non stesse accadendo nulla di insolito?
Perché i dati casuali sembrano seguire uno schema
Ecco la parte che sorprende molti: il caso produce addensamenti. Se distribuisci qualcosa a caso, non otterrai una disposizione perfettamente uniforme. In alcuni punti ci sarà una concentrazione maggiore, in altri non ci sarà nulla. Il nostro cervello interpreta questi addensamenti come se avessero un significato.
Un esempio viene dalla Londra della Seconda guerra mondiale. Durante gli attacchi con le bombe volanti, molti sostenevano che gli ordigni cadessero in gruppi. Nel 1946, l'attuario R. D. Clarke pubblicò un breve studio sul Journal of the Institute of Actuaries per verificare questa convinzione.
Divise 144 chilometri quadrati della zona sud di Londra in 576 quadrati da un quarto di chilometro quadrato ciascuno e contò gli impatti. Nell'area erano cadute 537 bombe. Se fossero cadute in modo del tutto casuale, la statistica prevedeva circa 227 quadrati senza impatti e circa 7 quadrati colpiti quattro volte. I numeri osservati furono rispettivamente 229 e 7. Anche il resto dei dati era molto vicino alle previsioni. Come scrisse Clarke, il risultato "non offre alcun sostegno all'ipotesi del raggruppamento".
Alcuni quadrati erano stati davvero colpiti quattro o cinque volte. Ma è proprio questo che può produrre il caso. Il significato era stato aggiunto dopo.
Se cerchi abbastanza, qualcosa salterà fuori
Il secondo motivo per cui la fallacia funziona è semplice aritmetica. Se ogni indicatore di una dashboard ha una probabilità su venti di mostrare un cambiamento "notevole" per puro caso e ne controlli trenta, puoi aspettarti che uno o due sembrino interessanti anche se non è successo nulla di reale. Gli statistici chiamano questo il problema dei confronti multipli: più domande poni agli stessi dati, più risposte otterrai per caso.
Esempi di fallacia del cecchino texano
Probabilmente ti è già capitato di incontrare situazioni simili. In ogni caso, lo schema viene scoperto osservando i risultati e poi presentato come se qualcuno lo avesse previsto.
| Contesto | Cosa dice il cecchino | Il bersaglio disegnato dopo | I colpi mancati ignorati |
|---|---|---|---|
| Dashboard aziendale | "Il nuovo strumento ha migliorato tre indicatori chiave!" | Tre indicatori scelti dopo aver visto i risultati | Gli altri 27 indicatori invariati o peggiorati |
| Integratori | "Il nostro studio ha rilevato un miglioramento della qualità del sonno." | Uno dei tanti risultati misurati | Tutti gli altri risultati che non mostrano effetti |
| Previsioni | "Questo commentatore ci aveva visto giusto: cinque previsioni azzeccate!" | Cinque previsioni corrette selezionate a posteriori | Le quindici previsioni sbagliate |
| Investimenti | "Con questa strategia avresti triplicato il capitale dal 2015." | Una regola adattata ai prezzi passati | Le centinaia di regole provate e scartate |
Nessuno di questi schemi è necessariamente falso. La fallacia sta nel trattare uno schema trovato a posteriori come se fosse già stato dimostrato.
Gruppi di casi di tumore: quando la posta in gioco è alta
Non è solo un rompicapo per statistici. Se in una comunità sembrano concentrarsi molti casi di tumore, le persone si spaventano e meritano una risposta seria.
Secondo il National Cancer Institute statunitense, si parla di raggruppamento di casi di tumore quando, in un gruppo di persone, in un'area definita e in un determinato periodo, i casi sono più numerosi del previsto. L'istituto osserva anche che, essendo il tumore una malattia comune, i casi possono sembrare concentrati pur non essendo collegati tra loro. Cita una revisione di Goodman e colleghi del 2012 su 576 indagini condotte nell'arco di 20 anni. Solo in 72 fu possibile confermare un aumento dei casi. Soltanto 3 di questi raggruppamenti poterono essere collegati a una possibile esposizione e in un solo caso venne identificata una causa chiara.
Questo non significa che i residenti preoccupati si stiano allarmando per nulla, né che le cause ambientali non esistano. Significa che un raggruppamento, da solo, pone una domanda: non fornisce una risposta. La causa va verificata, non dedotta guardando una mappa.
Fallacia del cecchino texano, cherry picking e altri errori simili
La fallacia del cecchino texano ha dei parenti stretti. Spesso si presentano insieme, ma vale la pena distinguerli: per riconoscere ciascuno serve una domanda diversa.
| Errore | Che cosa succede | La domanda per riconoscerlo |
|---|---|---|
| Cecchino texano | Si trova uno schema nei risultati e poi lo si presenta come l'obiettivo iniziale | "Era stato previsto prima di vedere i dati?" |
| Cherry picking | Si mostrano solo le prove favorevoli a un'affermazione formulata in precedenza e si nasconde il resto | "Possiamo vedere tutti i dati?" |
| Bias di conferma | Noti e ricordi soprattutto ciò che conferma le tue convinzioni | "Che cosa mi aspetterei di vedere se avessi torto?" |
| Fallacia post hoc | B è successo dopo A, quindi si conclude che A abbia causato B | "Cos'altro è cambiato nello stesso periodo?" |
| Bias di sopravvivenza | Vedi soltanto i casi che hanno superato una selezione | "Chi manca da questo quadro?" |
| Generalizzazione affrettata | Si ricava una regola generale da pochi casi | "Su quanti casi si basa?" |
| Illusione dei raggruppamenti | Gli addensamenti casuali sembrano avere un significato | "Quanto sarebbe probabile vedere un addensamento simile per puro caso?" |
Il modo più semplice per distinguere il cecchino texano dal cherry picking è guardare l'ordine degli eventi. Chi fa cherry picking parte dal bersaglio e cerca i fori che lo confermano. Il cecchino parte dai fori e disegna un bersaglio che li contenga. Nella pratica, i due comportamenti spesso si sovrappongono.
Quando trovare uno schema a posteriori va benissimo
C'è un punto che molte spiegazioni trascurano. Cercare schemi in dati già raccolti non è un errore in sé. Molte scoperte iniziano proprio così. L'errore è saltare il passaggio successivo.
Uno schema trovato esplorando i dati è un'ipotesi. Diventa un risultato attendibile solo se viene verificato su dati diversi da quelli usati per scoprirlo. Nella ricerca, presentare uno schema individuato dopo aver visto i risultati come se fosse stato previsto fin dall'inizio ha persino un nome: lo psicologo sociale Norbert Kerr lo chiamò HARKing, abbreviazione di "hypothesizing after the results are known", cioè formulare ipotesi dopo aver conosciuto i risultati, in un articolo del 1998. Kerr non sosteneva che esplorare i dati fosse sbagliato. Il problema è spacciare un'esplorazione per una previsione confermata, traendo in inganno chi legge.
| Esplorazione onesta | Cecchino texano |
|---|---|
| "Abbiamo notato che le richieste sulla fatturazione vengono gestite più in fretta. Verifichiamo se il risultato si ripete." | "Le richieste sulla fatturazione vengono gestite più in fretta. Lo strumento funziona." |
| Dice quanti aspetti sono stati controllati | Menziona solo i risultati positivi |
| Verifica lo schema su nuovi dati | Usa gli stessi dati per trovare lo schema e dimostrarlo |
| Accetta che lo schema possa scomparire | Se lo schema scompare, ne trova un altro |
Quando lo schema del cecchino non regge a una nuova verifica, raramente sentirai dire "Mi sbagliavo". Più spesso verrà trovato un altro gruppo di fori sul fienile, un comportamento molto vicino allo spostare i paletti.
Come riconoscerla: cinque domande
Non serve una formazione in statistica per accorgersi di un bersaglio disegnato dopo. Queste cinque domande bastano nella maggior parte dei casi.
1. Quando è stato disegnato il bersaglio?
"Qualcuno aveva detto prima di vedere i risultati che avremmo cercato proprio questo?" Se l'obiettivo era stato messo per iscritto in anticipo, centrarlo significa qualcosa. Altrimenti è un indizio, non una prova.
2. In quanti posti si poteva cercare?
"Quanti indicatori, gruppi o periodi abbiamo controllato?" Un risultato positivo su un solo tentativo colpisce. Uno su trenta è più o meno quello che ci si può aspettare per caso.
3. Dove sono i colpi mancati?
"E quelli che non sono cambiati?" Chiedere di vedere l'intero fienile è spesso la cosa più utile.
4. Il gruppo è stranamente specifico?
"Clienti francofoni che usano il cellulare nelle prime due settimane" è un campanello d'allarme. Più condizioni servono per descrivere uno schema, più è probabile che sia stato ritagliato dal rumore dei dati.
5. Lo schema si ripete con nuovi dati?
È la domanda decisiva. Verifica lo schema dove non è stato scoperto: il mese successivo, in un'altra sede, su un altro campione. Uno schema reale tende a ripresentarsi. Un bersaglio disegnato dopo, di solito, svanisce.
Come rispondere senza litigare
"Questa è la fallacia del cecchino texano" può essere corretto, ma quasi mai è utile. Chi ascolta rischia di sentirsi accusato di barare e di mettersi sulla difensiva. Meglio trattare lo schema come un'ipotesi promettente.
Puoi seguire tre passaggi: riconosci il risultato, chiedi dei colpi mancati, proponi una verifica.
| Cosa senti | Cosa puoi dire |
|---|---|
| "Guarda, tre indicatori sono migliorati!" | "Bene. Quanti ne monitoravamo in totale? Vorrei vedere anche quelli rimasti invariati." |
| "I dati mostrano chiaramente che questo gruppo risponde meglio." | "Interessante. Era il gruppo che avevamo deciso di osservare oppure è emerso dopo?" |
| "Nella nostra via si sono ammalate tante persone. Dev'esserci qualcosa qui." | "Vale la pena segnalarlo all'autorità sanitaria. Può verificare se i casi sono più numerosi di quanto ci si aspetterebbe per caso." |
| "Il backtest mostra che questa strategia batte il mercato." | "Quante strategie sono state provate prima di scegliere questa? E come si è comportata da allora?" |
Se è una persona con cui lavorerai anche domani, il terzo passaggio conta più degli altri. "Verifichiamolo per bene" le offre la possibilità di dimostrare che ha davvero ragione.
Un esempio concreto: Sigrid e l'assistente AI
Sigrid non ha detto a Darragh che la sua slide conteneva una fallacia. Ha detto: "Alcuni di questi risultati potrebbero essere reali e, se lo sono, voglio saperlo. Possiamo fare una seconda fase e decidere prima che cosa conterà come successo?"
Prima di iniziare la seconda fase, hanno concordato un piano breve:
| Domanda | Cosa hanno concordato |
|---|---|
| Che cosa dovrebbe migliorare l'assistente? | Il tempo di prima risposta e il numero di richieste risolte senza l'intervento di una persona |
| Che cosa conterà come successo? | Un miglioramento chiaro di entrambi gli indicatori nell'arco di quattro settimane |
| Che cosa conterà come insuccesso? | Nessun cambiamento oppure un peggioramento della soddisfazione complessiva |
| E i tre risultati positivi iniziali? | Saranno monitorati come ipotesi: se sono reali, dovrebbero ripresentarsi |
| Che cosa verrà comunicato? | Tutti gli indicatori della dashboard, non solo quelli favorevoli |
Dopo quattro settimane, i risultati erano contrastanti. Per le richieste sulla fatturazione, le prime risposte erano più rapide e la risoluzione senza intervento umano era più frequente: quel primo segnale era reale. Per le altre richieste non era cambiato nulla. L'aumento della soddisfazione dei clienti francofoni e il calo dei ricontatti del giovedì erano scomparsi, come spesso accade con i risultati dovuti al caso.
L'azienda ha mantenuto l'assistente per le richieste sulla fatturazione e ha smesso di usarlo per le altre. Darragh ha ottenuto un risultato che poteva sostenere davanti a chiunque.
Come accorgertene quando capita a te
Tutti, prima o poi, disegniamo bersagli. Ci sembra di fare un'osservazione, non di barare.
- Scrivi prima la tua previsione. Prima di controllare i risultati di un test, di un lancio o di una nuova abitudine, scrivi una frase: "Se funziona, mi aspetto di vedere X". Bastano trenta secondi.
- Conta tutti i tentativi. Quando un risultato spicca, chiediti quante altre cose hai osservato. Sii sincero sul numero.
- Racconta anche cosa non ha funzionato. Quando condividi un successo, menziona ciò che non è cambiato. I risultati positivi diventeranno più credibili.
- Diffida delle storie troppo perfette. Se uno schema coincide esattamente con quello che speravi di trovare, è il momento di esaminarlo con più attenzione.
Come esercitarti con l'AI
Riconoscere un bersaglio disegnato dopo è più difficile quando hai la slide davanti e chi la presenta è entusiasta. Un dibattito ti permette di allenarti a fare le domande giuste. Su Debatly, diversi modelli e personaggi AI discutono la tua domanda da punti di vista differenti per più turni. Puoi intervenire in qualsiasi momento e un giudice emette un verdetto motivato.
- Metti alla prova uno schema. Inserisci nella stanza del dibattito un'affermazione che hai incontrato, per esempio: "Le nostre nuove email di benvenuto hanno aumentato la fidelizzazione dei clienti iscritti nel fine settimana". Chiedi a una parte di difenderla e all'altra di mettere in discussione il modo in cui è stata individuata.
- Coinvolgi un'esperta di dati. Chiedi a Sofia, la data scientist, quanti confronti potrebbero essere stati fatti e come impostare una verifica corretta. Può aiutarti a trasformare un indizio in un piano.
- Chiedi a uno scettico di cercare i colpi mancati. Fai elencare a Viktor, lo scettico, ciò che l'affermazione lascia fuori: altri indicatori, altri gruppi, altri periodi.
- Leggi il verdetto. Il giudice Alex spiega quali argomenti hanno avuto più peso nel dibattito. Controlla se la parte vincente aveva una previsione formulata in anticipo o soltanto uno schema dall'aspetto convincente.
Quando Sigrid ha portato la slide di Darragh in un dibattito, la parte critica ha chiesto già al primo turno quanti indicatori monitorasse la dashboard. Così è arrivata alla riunione sapendo come porre la domanda senza mettere Darragh sulla difensiva.
Un limite da tenere presente
I modelli AI non possono vedere i tuoi dati e non possono dirti se uno schema è reale. Solo una verifica su nuovi dati può farlo. Sono anche bravi a inventare una spiegazione plausibile per qualsiasi schema tu gli presenti: è il pennello del cecchino in una nuova forma. Inoltre, molti modelli tendono a concordare con ciò che sembri già credere (vedi perché l'AI ti dà ragione). Usa il dibattito per affinare le domande e progettare la verifica. La risposta dovrà comunque arrivare dai dati.
Disegna prima il bersaglio
La fallacia del cecchino texano funziona perché fa sembrare una coincidenza trovata nei dati una previsione avverata. La soluzione è semplice: decidi che cosa stai cercando prima di guardare, conta tutti i tentativi e verifica se lo schema si ripete su nuovi dati.
Questa settimana, quando qualcuno ti mostra un risultato sorprendente, fai una domanda: "Era questo che cercavamo prima di vedere i risultati?" Se hai trovato uno schema che ti entusiasma, trasformalo in un dibattito su Debatly e lascia che l'altra parte cerchi prima i colpi mancati. Prova: trovi i piani nella pagina dei prezzi.
“Fallacia del cecchino texano: esempi e come riconoscerla”