Apprendimento · Articolo

Fallacia del cecchino texano: esempi e come riconoscerla

Che cos'è la fallacia del cecchino texano? Scopri perché i risultati scelti a posteriori sembrano così convincenti, con esempi concreti e cinque domande per distinguere uno schema reale da un bersaglio disegnato dopo.

Fallacia del cecchino texano: esempi e come riconoscerla

Sigrid dirige il team di assistenza clienti di un'azienda che produce software di contabilità. Per sei settimane, il suo team ha sperimentato un assistente AI che risponde alle richieste più semplici prima che vengano prese in carico da una persona. Alla riunione di valutazione, Darragh, il product manager che ha promosso il progetto, apre con una slide.

"Tre risultati positivi", dice. "La soddisfazione dei clienti francofoni è aumentata. I ricontatti del giovedì sono diminuiti. E le richieste sulla fatturazione vengono chiuse l'11% più in fretta. L'assistente funziona."

Sigrid guarda la dashboard dell'assistenza sul portatile. Tiene traccia di una trentina di indicatori. La maggior parte è rimasta invariata. Due sono leggermente peggiorati. I tre risultati citati da Darragh sono veri, ma prima della sperimentazione nessuno aveva detto che l'obiettivo fosse migliorare la soddisfazione dei clienti francofoni o ridurre i ricontatti del giovedì.

Darragh non ha mentito. Ha sparato contro un fienile e poi ha disegnato il bersaglio attorno ai fori. Questo modo di ragionare ha un nome: fallacia del cecchino texano. Vediamo che cos'è, perché è così convincente, dove si presenta e quali domande aiutano a distinguere uno schema reale da un bersaglio disegnato dopo.

Che cos'è la fallacia del cecchino texano?

La fallacia del cecchino texano consiste nell'individuare uno schema nei dati dopo aver visto i risultati e nel presentarlo come significativo, o come se fosse stato previsto fin dall'inizio. Si mettono in evidenza i colpi andati a segno e si ignorano tutti gli altri. Gli stessi dati vengono usati due volte: prima per trovare lo schema, poi per "dimostrarlo".

Il nome viene da una vecchia barzelletta. Un uomo spara contro la parete di un fienile, poi si avvicina e dipinge un bersaglio attorno al gruppo di fori più ravvicinati. Chi vede il fienile in seguito pensa che sia un tiratore eccezionale.

Ci sono tre segnali rivelatori:

  1. Il bersaglio arriva dopo gli spari. L'affermazione nasce dall'osservazione dei risultati, non viene formulata prima.
  2. C'erano molti posti in cui guardare. Si poteva trovare uno schema tra tanti indicatori, gruppi, periodi o luoghi diversi.
  3. I colpi mancati spariscono. Nessuno parla degli altri ventisette indicatori che non sono migliorati.

È la voce 21 della nostra guida alle fallacie logiche. Qui andiamo più a fondo, perché la parte difficile è accorgersi di quando siamo noi ad avere il pennello in mano.

Da dove viene il nome

Non si sa chi abbia raccontato per primo la barzelletta. Uno dei primi riferimenti noti in un testo pubblicato risale al 1977: un articolo sulla malattia di Hodgkin apparso sulla rivista medica Cancer, a firma dell'epidemiologo Seymour Grufferman. Parlando di gruppi di casi individuati a posteriori, osservava che "questi raggruppamenti a posteriori sono analoghi alla storia del cecchino texano" e che, da soli, non permettono di stabilire se vadano oltre ciò che ci si aspetterebbe per caso.

È proprio in epidemiologia che l'idea ha trovato una delle sue applicazioni più importanti. Davanti a un gruppo di casi, la prima domanda è: sarebbe sorprendente osservarlo anche se non stesse accadendo nulla di insolito?

Perché i dati casuali sembrano seguire uno schema

Ecco la parte che sorprende molti: il caso produce addensamenti. Se distribuisci qualcosa a caso, non otterrai una disposizione perfettamente uniforme. In alcuni punti ci sarà una concentrazione maggiore, in altri non ci sarà nulla. Il nostro cervello interpreta questi addensamenti come se avessero un significato.

Un esempio viene dalla Londra della Seconda guerra mondiale. Durante gli attacchi con le bombe volanti, molti sostenevano che gli ordigni cadessero in gruppi. Nel 1946, l'attuario R. D. Clarke pubblicò un breve studio sul Journal of the Institute of Actuaries per verificare questa convinzione.

Divise 144 chilometri quadrati della zona sud di Londra in 576 quadrati da un quarto di chilometro quadrato ciascuno e contò gli impatti. Nell'area erano cadute 537 bombe. Se fossero cadute in modo del tutto casuale, la statistica prevedeva circa 227 quadrati senza impatti e circa 7 quadrati colpiti quattro volte. I numeri osservati furono rispettivamente 229 e 7. Anche il resto dei dati era molto vicino alle previsioni. Come scrisse Clarke, il risultato "non offre alcun sostegno all'ipotesi del raggruppamento".

Alcuni quadrati erano stati davvero colpiti quattro o cinque volte. Ma è proprio questo che può produrre il caso. Il significato era stato aggiunto dopo.

Se cerchi abbastanza, qualcosa salterà fuori

Il secondo motivo per cui la fallacia funziona è semplice aritmetica. Se ogni indicatore di una dashboard ha una probabilità su venti di mostrare un cambiamento "notevole" per puro caso e ne controlli trenta, puoi aspettarti che uno o due sembrino interessanti anche se non è successo nulla di reale. Gli statistici chiamano questo il problema dei confronti multipli: più domande poni agli stessi dati, più risposte otterrai per caso.

Esempi di fallacia del cecchino texano

Probabilmente ti è già capitato di incontrare situazioni simili. In ogni caso, lo schema viene scoperto osservando i risultati e poi presentato come se qualcuno lo avesse previsto.

Contesto Cosa dice il cecchino Il bersaglio disegnato dopo I colpi mancati ignorati
Dashboard aziendale "Il nuovo strumento ha migliorato tre indicatori chiave!" Tre indicatori scelti dopo aver visto i risultati Gli altri 27 indicatori invariati o peggiorati
Integratori "Il nostro studio ha rilevato un miglioramento della qualità del sonno." Uno dei tanti risultati misurati Tutti gli altri risultati che non mostrano effetti
Previsioni "Questo commentatore ci aveva visto giusto: cinque previsioni azzeccate!" Cinque previsioni corrette selezionate a posteriori Le quindici previsioni sbagliate
Investimenti "Con questa strategia avresti triplicato il capitale dal 2015." Una regola adattata ai prezzi passati Le centinaia di regole provate e scartate

Nessuno di questi schemi è necessariamente falso. La fallacia sta nel trattare uno schema trovato a posteriori come se fosse già stato dimostrato.

Gruppi di casi di tumore: quando la posta in gioco è alta

Non è solo un rompicapo per statistici. Se in una comunità sembrano concentrarsi molti casi di tumore, le persone si spaventano e meritano una risposta seria.

Secondo il National Cancer Institute statunitense, si parla di raggruppamento di casi di tumore quando, in un gruppo di persone, in un'area definita e in un determinato periodo, i casi sono più numerosi del previsto. L'istituto osserva anche che, essendo il tumore una malattia comune, i casi possono sembrare concentrati pur non essendo collegati tra loro. Cita una revisione di Goodman e colleghi del 2012 su 576 indagini condotte nell'arco di 20 anni. Solo in 72 fu possibile confermare un aumento dei casi. Soltanto 3 di questi raggruppamenti poterono essere collegati a una possibile esposizione e in un solo caso venne identificata una causa chiara.

Questo non significa che i residenti preoccupati si stiano allarmando per nulla, né che le cause ambientali non esistano. Significa che un raggruppamento, da solo, pone una domanda: non fornisce una risposta. La causa va verificata, non dedotta guardando una mappa.

Dibattilo su Debatly“Un Comune dovrebbe spendere denaro pubblico per indagare su ogni sospetto raggruppamento di casi di tumore, anche se nella maggior parte delle indagini non emerge una causa?”

Fallacia del cecchino texano, cherry picking e altri errori simili

La fallacia del cecchino texano ha dei parenti stretti. Spesso si presentano insieme, ma vale la pena distinguerli: per riconoscere ciascuno serve una domanda diversa.

Errore Che cosa succede La domanda per riconoscerlo
Cecchino texano Si trova uno schema nei risultati e poi lo si presenta come l'obiettivo iniziale "Era stato previsto prima di vedere i dati?"
Cherry picking Si mostrano solo le prove favorevoli a un'affermazione formulata in precedenza e si nasconde il resto "Possiamo vedere tutti i dati?"
Bias di conferma Noti e ricordi soprattutto ciò che conferma le tue convinzioni "Che cosa mi aspetterei di vedere se avessi torto?"
Fallacia post hoc B è successo dopo A, quindi si conclude che A abbia causato B "Cos'altro è cambiato nello stesso periodo?"
Bias di sopravvivenza Vedi soltanto i casi che hanno superato una selezione "Chi manca da questo quadro?"
Generalizzazione affrettata Si ricava una regola generale da pochi casi "Su quanti casi si basa?"
Illusione dei raggruppamenti Gli addensamenti casuali sembrano avere un significato "Quanto sarebbe probabile vedere un addensamento simile per puro caso?"

Il modo più semplice per distinguere il cecchino texano dal cherry picking è guardare l'ordine degli eventi. Chi fa cherry picking parte dal bersaglio e cerca i fori che lo confermano. Il cecchino parte dai fori e disegna un bersaglio che li contenga. Nella pratica, i due comportamenti spesso si sovrappongono.

Quando trovare uno schema a posteriori va benissimo

C'è un punto che molte spiegazioni trascurano. Cercare schemi in dati già raccolti non è un errore in sé. Molte scoperte iniziano proprio così. L'errore è saltare il passaggio successivo.

Uno schema trovato esplorando i dati è un'ipotesi. Diventa un risultato attendibile solo se viene verificato su dati diversi da quelli usati per scoprirlo. Nella ricerca, presentare uno schema individuato dopo aver visto i risultati come se fosse stato previsto fin dall'inizio ha persino un nome: lo psicologo sociale Norbert Kerr lo chiamò HARKing, abbreviazione di "hypothesizing after the results are known", cioè formulare ipotesi dopo aver conosciuto i risultati, in un articolo del 1998. Kerr non sosteneva che esplorare i dati fosse sbagliato. Il problema è spacciare un'esplorazione per una previsione confermata, traendo in inganno chi legge.

Esplorazione onesta Cecchino texano
"Abbiamo notato che le richieste sulla fatturazione vengono gestite più in fretta. Verifichiamo se il risultato si ripete." "Le richieste sulla fatturazione vengono gestite più in fretta. Lo strumento funziona."
Dice quanti aspetti sono stati controllati Menziona solo i risultati positivi
Verifica lo schema su nuovi dati Usa gli stessi dati per trovare lo schema e dimostrarlo
Accetta che lo schema possa scomparire Se lo schema scompare, ne trova un altro

Quando lo schema del cecchino non regge a una nuova verifica, raramente sentirai dire "Mi sbagliavo". Più spesso verrà trovato un altro gruppo di fori sul fienile, un comportamento molto vicino allo spostare i paletti.

Dibattilo su Debatly“È corretto definire "reale" un risultato che il ricercatore ha notato solo dopo aver esaminato i dati?”

Come riconoscerla: cinque domande

Non serve una formazione in statistica per accorgersi di un bersaglio disegnato dopo. Queste cinque domande bastano nella maggior parte dei casi.

1. Quando è stato disegnato il bersaglio?

"Qualcuno aveva detto prima di vedere i risultati che avremmo cercato proprio questo?" Se l'obiettivo era stato messo per iscritto in anticipo, centrarlo significa qualcosa. Altrimenti è un indizio, non una prova.

2. In quanti posti si poteva cercare?

"Quanti indicatori, gruppi o periodi abbiamo controllato?" Un risultato positivo su un solo tentativo colpisce. Uno su trenta è più o meno quello che ci si può aspettare per caso.

3. Dove sono i colpi mancati?

"E quelli che non sono cambiati?" Chiedere di vedere l'intero fienile è spesso la cosa più utile.

4. Il gruppo è stranamente specifico?

"Clienti francofoni che usano il cellulare nelle prime due settimane" è un campanello d'allarme. Più condizioni servono per descrivere uno schema, più è probabile che sia stato ritagliato dal rumore dei dati.

5. Lo schema si ripete con nuovi dati?

È la domanda decisiva. Verifica lo schema dove non è stato scoperto: il mese successivo, in un'altra sede, su un altro campione. Uno schema reale tende a ripresentarsi. Un bersaglio disegnato dopo, di solito, svanisce.

Come rispondere senza litigare

"Questa è la fallacia del cecchino texano" può essere corretto, ma quasi mai è utile. Chi ascolta rischia di sentirsi accusato di barare e di mettersi sulla difensiva. Meglio trattare lo schema come un'ipotesi promettente.

Puoi seguire tre passaggi: riconosci il risultato, chiedi dei colpi mancati, proponi una verifica.

Cosa senti Cosa puoi dire
"Guarda, tre indicatori sono migliorati!" "Bene. Quanti ne monitoravamo in totale? Vorrei vedere anche quelli rimasti invariati."
"I dati mostrano chiaramente che questo gruppo risponde meglio." "Interessante. Era il gruppo che avevamo deciso di osservare oppure è emerso dopo?"
"Nella nostra via si sono ammalate tante persone. Dev'esserci qualcosa qui." "Vale la pena segnalarlo all'autorità sanitaria. Può verificare se i casi sono più numerosi di quanto ci si aspetterebbe per caso."
"Il backtest mostra che questa strategia batte il mercato." "Quante strategie sono state provate prima di scegliere questa? E come si è comportata da allora?"

Se è una persona con cui lavorerai anche domani, il terzo passaggio conta più degli altri. "Verifichiamolo per bene" le offre la possibilità di dimostrare che ha davvero ragione.

Un esempio concreto: Sigrid e l'assistente AI

Sigrid non ha detto a Darragh che la sua slide conteneva una fallacia. Ha detto: "Alcuni di questi risultati potrebbero essere reali e, se lo sono, voglio saperlo. Possiamo fare una seconda fase e decidere prima che cosa conterà come successo?"

Prima di iniziare la seconda fase, hanno concordato un piano breve:

Domanda Cosa hanno concordato
Che cosa dovrebbe migliorare l'assistente? Il tempo di prima risposta e il numero di richieste risolte senza l'intervento di una persona
Che cosa conterà come successo? Un miglioramento chiaro di entrambi gli indicatori nell'arco di quattro settimane
Che cosa conterà come insuccesso? Nessun cambiamento oppure un peggioramento della soddisfazione complessiva
E i tre risultati positivi iniziali? Saranno monitorati come ipotesi: se sono reali, dovrebbero ripresentarsi
Che cosa verrà comunicato? Tutti gli indicatori della dashboard, non solo quelli favorevoli

Dopo quattro settimane, i risultati erano contrastanti. Per le richieste sulla fatturazione, le prime risposte erano più rapide e la risoluzione senza intervento umano era più frequente: quel primo segnale era reale. Per le altre richieste non era cambiato nulla. L'aumento della soddisfazione dei clienti francofoni e il calo dei ricontatti del giovedì erano scomparsi, come spesso accade con i risultati dovuti al caso.

L'azienda ha mantenuto l'assistente per le richieste sulla fatturazione e ha smesso di usarlo per le altre. Darragh ha ottenuto un risultato che poteva sostenere davanti a chiunque.

Come accorgertene quando capita a te

Tutti, prima o poi, disegniamo bersagli. Ci sembra di fare un'osservazione, non di barare.

  • Scrivi prima la tua previsione. Prima di controllare i risultati di un test, di un lancio o di una nuova abitudine, scrivi una frase: "Se funziona, mi aspetto di vedere X". Bastano trenta secondi.
  • Conta tutti i tentativi. Quando un risultato spicca, chiediti quante altre cose hai osservato. Sii sincero sul numero.
  • Racconta anche cosa non ha funzionato. Quando condividi un successo, menziona ciò che non è cambiato. I risultati positivi diventeranno più credibili.
  • Diffida delle storie troppo perfette. Se uno schema coincide esattamente con quello che speravi di trovare, è il momento di esaminarlo con più attenzione.
Dibattilo su Debatly“Un'azienda dovrebbe tenere un nuovo strumento se ha migliorato chiaramente solo uno dei tanti indicatori su cui avrebbe dovuto incidere?”

Come esercitarti con l'AI

Riconoscere un bersaglio disegnato dopo è più difficile quando hai la slide davanti e chi la presenta è entusiasta. Un dibattito ti permette di allenarti a fare le domande giuste. Su Debatly, diversi modelli e personaggi AI discutono la tua domanda da punti di vista differenti per più turni. Puoi intervenire in qualsiasi momento e un giudice emette un verdetto motivato.

  • Metti alla prova uno schema. Inserisci nella stanza del dibattito un'affermazione che hai incontrato, per esempio: "Le nostre nuove email di benvenuto hanno aumentato la fidelizzazione dei clienti iscritti nel fine settimana". Chiedi a una parte di difenderla e all'altra di mettere in discussione il modo in cui è stata individuata.
  • Coinvolgi un'esperta di dati. Chiedi a Sofia, la data scientist, quanti confronti potrebbero essere stati fatti e come impostare una verifica corretta. Può aiutarti a trasformare un indizio in un piano.
  • Chiedi a uno scettico di cercare i colpi mancati. Fai elencare a Viktor, lo scettico, ciò che l'affermazione lascia fuori: altri indicatori, altri gruppi, altri periodi.
  • Leggi il verdetto. Il giudice Alex spiega quali argomenti hanno avuto più peso nel dibattito. Controlla se la parte vincente aveva una previsione formulata in anticipo o soltanto uno schema dall'aspetto convincente.

Quando Sigrid ha portato la slide di Darragh in un dibattito, la parte critica ha chiesto già al primo turno quanti indicatori monitorasse la dashboard. Così è arrivata alla riunione sapendo come porre la domanda senza mettere Darragh sulla difensiva.

Un limite da tenere presente

I modelli AI non possono vedere i tuoi dati e non possono dirti se uno schema è reale. Solo una verifica su nuovi dati può farlo. Sono anche bravi a inventare una spiegazione plausibile per qualsiasi schema tu gli presenti: è il pennello del cecchino in una nuova forma. Inoltre, molti modelli tendono a concordare con ciò che sembri già credere (vedi perché l'AI ti dà ragione). Usa il dibattito per affinare le domande e progettare la verifica. La risposta dovrà comunque arrivare dai dati.

Disegna prima il bersaglio

La fallacia del cecchino texano funziona perché fa sembrare una coincidenza trovata nei dati una previsione avverata. La soluzione è semplice: decidi che cosa stai cercando prima di guardare, conta tutti i tentativi e verifica se lo schema si ripete su nuovi dati.

Questa settimana, quando qualcuno ti mostra un risultato sorprendente, fai una domanda: "Era questo che cercavamo prima di vedere i risultati?" Se hai trovato uno schema che ti entusiasma, trasformalo in un dibattito su Debatly e lascia che l'altra parte cerchi prima i colpi mancati. Prova: trovi i piani nella pagina dei prezzi.

Dibattilo su Debatly

“Fallacia del cecchino texano: esempi e come riconoscerla”

FAQ

È trovare uno schema nei risultati a posteriori e trattarlo come significativo, quasi fosse stato previsto. Lo schema potrebbe essere reale, ma il modo in cui è stato trovato non basta a dimostrarlo.
Il nome viene da una barzelletta su un texano che spara contro la parete di un fienile e poi disegna un bersaglio attorno ai fori casualmente più vicini. Non si sa chi l'abbia raccontata per primo, ma compare in un articolo del 1977 sui raggruppamenti di casi di malattia scritto dall'epidemiologo Seymour Grufferman.
La differenza è l'ordine degli eventi. Nel cherry picking si parte da un'affermazione e si selezionano solo le prove a suo favore. Il cecchino texano parte dai dati, individua un gruppo di risultati e costruisce l'affermazione attorno a quello. I due errori spesso compaiono insieme.
Di solito è classificata come una fallacia informale, cioè un errore nel modo in cui un'argomentazione usa le prove. È alimentata da un bias cognitivo chiamato illusione dei raggruppamenti: la tendenza a vedere schemi significativi in dati casuali. Il bias fa sembrare reale lo schema; la fallacia consiste nel presentarlo come una prova.
Un'azienda monitora trenta indicatori dopo il lancio di un nuovo strumento, sceglie i tre che sono migliorati e annuncia che lo strumento funziona, senza citare gli altri ventisette. Fa lo stesso chi elenca soltanto le proprie previsioni azzeccate.
Scrivi che cosa ti aspetti di trovare prima di guardare i risultati. Conta quanti aspetti hai controllato, comunica anche quelli senza miglioramenti e verifica ogni schema sorprendente su nuovi dati prima di considerarlo una conclusione.
#texas-sharpshooter #logical-fallacies #critical-thinking #statistics #decision-making