Aprendizagem · Artigo

Falácia do atirador do Texas: exemplos e como identificá-la

Perceba o que é a falácia do atirador do Texas e porque é tão fácil acreditar em padrões encontrados depois de ver os resultados. Veja exemplos reais e aprenda a distinguir uma descoberta de um alvo desenhado à volta dos dados.

Falácia do atirador do Texas: exemplos e como identificá-la

Sigrid lidera a equipa de apoio ao cliente de uma empresa de software de contabilidade. Durante seis semanas, a equipa testou um assistente de IA que responde aos pedidos mais simples antes de estes chegarem a uma pessoa. Na reunião de avaliação, Darragh, o gestor de produto que defendeu a experiência, começa com um diapositivo.

«Três vitórias», diz. «A satisfação dos clientes francófonos subiu. Os contactos repetidos às quintas-feiras diminuíram. E os pedidos sobre faturação são resolvidos onze por cento mais depressa. O assistente funciona.»

Sigrid consulta o painel de indicadores do apoio ao cliente no portátil. Acompanha cerca de trinta métricas. A maioria não mudou. Duas pioraram ligeiramente. Os três resultados de Darragh são reais, mas ninguém tinha definido antes da experiência que a satisfação dos clientes francófonos ou os contactos repetidos à quinta-feira seriam os indicadores a melhorar.

Darragh não mentiu. Disparou contra o celeiro e só depois pintou o alvo à volta dos tiros. Esta forma de raciocinar tem um nome: falácia do atirador do Texas. Neste artigo, explicamos o que é, porque convence tão facilmente, onde aparece e que perguntas ajudam a distinguir um padrão real de um alvo pintado à posteriori.

O que é a falácia do atirador do Texas?

A falácia do atirador do Texas consiste em encontrar um padrão nos dados depois de conhecer os resultados e tratá-lo como significativo, ou como se tivesse sido previsto desde o início. Destacam-se os acertos e ignoram-se os falhanços à volta. Os mesmos dados servem duas vezes: primeiro para descobrir o padrão, depois para o «provar».

O nome vem de uma velha piada. Um homem dispara contra a parede de um celeiro, aproxima-se e pinta um alvo à volta do grupo de tiros mais juntos. Quem vê o celeiro mais tarde acha que ele tem uma pontaria extraordinária.

Há três sinais típicos:

  1. O alvo apareceu depois dos tiros. A afirmação foi formulada após observar os resultados, não antes.
  2. Havia muitos sítios onde procurar. Existiam vários números, grupos, períodos ou locais onde poderia surgir um padrão.
  3. Os falhanços ficam de fora. Ninguém menciona as outras vinte e sete métricas que não melhoraram.

É a falácia número 21 do nosso guia de falácias lógicas. Aqui vamos mais longe, porque o mais difícil é perceber quando somos nós a segurar no pincel.

De onde vem o nome

Ninguém sabe quem contou a piada pela primeira vez. Uma das primeiras referências conhecidas em publicações científicas surge num artigo de 1977 sobre a doença de Hodgkin, publicado na revista médica Cancer pelo epidemiologista Seymour Grufferman. A propósito de concentrações de casos identificadas à posteriori, observou que «estas concentrações à posteriori são análogas à história do atirador do Texas» e que, por si só, não permitem determinar se há algo mais do que o acaso.

Foi na epidemiologia que a ideia ganhou uma das suas aplicações mais importantes. Perante uma concentração de casos, a primeira pergunta é se ela seria surpreendente caso nada de invulgar estivesse a acontecer.

Porque é que dados aleatórios parecem formar padrões

Há algo que surpreende muita gente: o acaso também forma aglomerados. Quando distribuímos elementos ao acaso, eles não ficam uniformemente espaçados. Alguns pontos recebem vários, outros nenhum. O nosso cérebro interpreta esses aglomerados como se quisessem dizer alguma coisa.

Um bom exemplo vem de Londres durante a Segunda Guerra Mundial. Nos ataques com bombas voadoras, era frequente dizer-se que as bombas caíam em grupos. Em 1946, o atuário R. D. Clarke publicou um breve estudo no Journal of the Institute of Actuaries para testar essa ideia.

Dividiu 144 quilómetros quadrados do sul de Londres em 576 quadrados de um quarto de quilómetro quadrado e contou os impactos. Tinham caído 537 bombas nessa área. Se a distribuição fosse puramente aleatória, a estatística previa cerca de 227 quadrados sem impactos e cerca de 7 com quatro impactos. Os valores observados foram 229 e 7. Os restantes números também ficaram muito próximos do previsto. Nas palavras de Clarke, o resultado «não apoia a hipótese de concentração».

Houve mesmo quadrados atingidos quatro ou cinco vezes. Mas é precisamente isso que o acaso pode produzir. O significado foi pintado depois.

Procure em sítios suficientes e encontrará alguma coisa

A segunda razão pela qual esta falácia funciona é simples aritmética. Se cada indicador de um painel tiver uma probabilidade de 1 em 20 de apresentar uma alteração «notável» apenas por acaso, ao verificar 30 indicadores é de esperar que um ou dois pareçam notáveis, mesmo que nada de relevante tenha acontecido. Em estatística, este é o problema das comparações múltiplas: quanto mais perguntas fazemos aos mesmos dados, mais respostas surgem por mero acaso.

Exemplos da falácia do atirador do Texas

É provável que já tenha visto a maioria destes casos. Em todos eles, o padrão foi descoberto ao analisar os resultados e apresentado como se alguém tivesse apontado para ele desde o início.

Contexto O que diz o «atirador» O alvo pintado depois Os falhanços omitidos
Painel de indicadores no trabalho «A nova ferramenta melhorou três indicadores-chave!» Três indicadores escolhidos depois de conhecer os resultados Os 27 indicadores que não melhoraram ou pioraram
Suplementos «O nosso estudo mostrou que melhora a qualidade do sono.» Um entre muitos resultados medidos Os restantes resultados, que não mostraram melhorias
Previsões «Este comentador acertou: cinco previsões concretizaram-se!» Cinco acertos escolhidos à posteriori As quinze previsões falhadas
Investimentos «Esta estratégia teria triplicado o seu dinheiro desde 2015.» Uma regra ajustada aos preços do passado As centenas de regras testadas e descartadas

Nenhum destes padrões é necessariamente falso. A falácia está em tratar um padrão encontrado depois de ver os resultados como se já estivesse comprovado.

Concentrações de casos de cancro: quando há muito em jogo

Isto não é apenas um quebra-cabeças para estatísticos. Quando uma comunidade deteta aquilo que parece ser uma concentração de casos de cancro, as pessoas ficam assustadas e merecem uma resposta rigorosa.

Segundo o Instituto Nacional do Cancro dos EUA, uma concentração de casos de cancro corresponde a um número de casos superior ao esperado num determinado grupo de pessoas, numa área definida e durante um período específico. O instituto também salienta que, como o cancro é frequente, os casos podem parecer concentrar-se mesmo quando não existe qualquer ligação entre eles. Cita uma revisão de Goodman e colegas, publicada em 2012, sobre 576 investigações de possíveis concentrações realizadas ao longo de 20 anos. Só em 72 foi possível confirmar um aumento dos casos de cancro. Apenas 3 desses aumentos puderam ser associados a uma possível exposição e, num único caso, foi identificada uma causa clara.

Isto não significa que a preocupação dos moradores seja descabida, nem que nunca existam causas ambientais. Significa que a concentração de casos é uma pergunta, não uma resposta. É preciso testar a possível causa, não deduzi-la a partir de um mapa.

Debata-o no Debatly“Deve uma autarquia gastar dinheiro público a investigar todas as suspeitas de concentração de casos de cancro, mesmo sabendo que a maioria das investigações não encontra uma causa?”

Atirador do Texas, seleção de dados e outros erros relacionados

A falácia do atirador do Texas tem parentes próximos. Muitas vezes aparecem juntos, mas importa distingui-los, porque cada um pede uma pergunta diferente.

Erro O que acontece A pergunta que ajuda a detetá-lo
Atirador do Texas Encontra-se um padrão nos resultados e apresenta-se esse padrão como o objetivo inicial «Isto foi previsto antes de chegarem os dados?»
Seleção de dados Mostram-se as provas favoráveis e escondem-se as restantes para apoiar uma afirmação feita previamente «Podemos ver todos os dados?»
Viés de confirmação Reparamos e lembramo-nos sobretudo daquilo que confirma o que já acreditamos «O que esperaria encontrar se estivesse enganado?»
Falácia post hoc B aconteceu depois de A, logo conclui-se que A causou B «O que mais mudou nessa altura?»
Viés de sobrevivência Só vemos os casos que chegaram até ao fim «Quem ficou de fora desta análise?»
Generalização precipitada Tira-se uma conclusão geral a partir de poucos casos «Em quantos casos se baseia esta conclusão?»
Ilusão de agrupamento Aglomerados aleatórios parecem ter necessariamente um significado «Até que ponto isto poderia acontecer por mero acaso?»

A forma mais simples de distinguir o atirador do Texas da seleção de dados é olhar para a ordem dos acontecimentos. Quem seleciona dados já tem um alvo e procura os tiros que o favorecem. O atirador vê primeiro os tiros e desenha um alvo à medida. Na prática, os dois erros muitas vezes confundem-se.

Quando não há problema em descobrir um padrão à posteriori

Há um ponto que muitas explicações deixam de fora: encontrar padrões em dados já recolhidos não é errado. Muitas descobertas começam assim. O erro é saltar o passo seguinte.

Um padrão descoberto ao explorar dados é uma hipótese. Só passa a ser um resultado confirmado quando é testado com dados que não foram usados para o encontrar. Na investigação, apresentar um padrão descoberto depois como se tivesse sido previsto desde o início tem um nome próprio: HARKing, abreviatura de «hypothesizing after the results are known», ou seja, formular hipóteses depois de conhecer os resultados. O termo foi proposto pelo psicólogo social Norbert Kerr num artigo de 1998. Kerr não defendia que explorar dados fosse errado. O problema é apresentar uma exploração como se fosse uma previsão confirmada, induzindo os leitores em erro.

Exploração honesta Atirador do Texas
«Notámos que os pedidos de faturação passaram a ser resolvidos mais depressa. Vamos testar se o efeito se mantém.» «Os pedidos de faturação passaram a ser resolvidos mais depressa. A ferramenta funciona.»
Indica quantos indicadores foram analisados Menciona apenas os acertos
Testa o padrão com novos dados Usa os mesmos dados para o encontrar e para o provar
Aceita a hipótese de o padrão desaparecer Procura outro padrão se o primeiro desaparecer

Quando o padrão do atirador não resiste a novos testes, raramente se ouve um «estava enganado». Em vez disso, aparece outro grupo de tiros no celeiro. É uma variante próxima de mudar as regras a meio do jogo.

Debata-o no Debatly“É justo chamar «real» a um resultado que o investigador só notou depois de analisar os dados?”

Como identificar a falácia: cinco perguntas

Não precisa de formação em estatística para reconhecer um alvo pintado depois dos tiros. Estas cinco perguntas resolvem grande parte do problema.

1. Quando foi desenhado o alvo?

«Alguém disse, antes de conhecer os resultados, que era isto que íamos procurar?» Se a previsão foi registada previamente, um acerto tem mais peso. Caso contrário, é uma pista, não uma prova.

2. Em quantos sítios se procurou?

«Quantos indicadores, grupos ou períodos analisámos?» Um acerto numa única tentativa impressiona. Um acerto em trinta é o tipo de resultado que o acaso produz.

3. Onde estão os falhanços?

«O que aconteceu aos indicadores que não mudaram?» Pedir para ver o celeiro inteiro é uma das coisas mais úteis que pode fazer.

4. O grupo é demasiado específico?

«Clientes francófonos que usaram o telemóvel nas primeiras duas semanas» deve fazê-lo desconfiar. Quanto mais condições forem necessárias para definir um padrão, maior a probabilidade de ele ter sido extraído do ruído.

5. O padrão repete-se com novos dados?

Esta é a pergunta decisiva. Procure o mesmo padrão onde ele não foi descoberto: no mês seguinte, noutro escritório ou noutra amostra. Um padrão real tende a repetir-se. Um alvo pintado depois costuma desaparecer.

Como responder sem criar um conflito

Dizer «isso é a falácia do atirador do Texas» pode estar certo, mas quase nunca ajuda. A outra pessoa ouve «estás a fazer batota» e fecha-se. É mais útil tratar o padrão como uma pista promissora.

Uma abordagem simples: reconheça o resultado, pergunte pelos falhanços e proponha um teste.

O que ouve O que pode dizer
«Vê? Três indicadores melhoraram!» «Ótimo. Quantos acompanhámos no total? Gostava de ver também os que não mudaram.»
«Os dados mostram claramente que este grupo responde melhor.» «Interessante. Era este o grupo que tínhamos previsto analisar ou só se destacou depois?»
«Há tantas pessoas doentes na nossa rua. Tem de haver alguma coisa aqui.» «Vale a pena comunicar a situação às autoridades de saúde. Elas podem verificar se os casos ultrapassam o que seria de esperar por acaso.»
«A simulação com dados históricos mostra que esta estratégia supera o mercado.» «Quantas estratégias foram testadas antes desta? E como se comportou desde que foi escolhida?»

Quando vai voltar a trabalhar com essa pessoa no dia seguinte, o terceiro passo é o mais importante. «Vamos testar isto como deve ser» dá-lhe a oportunidade de confirmar que tinha razão.

Exemplo prático: Sigrid e o assistente de IA

Sigrid não disse a Darragh que o diapositivo mostrava uma falácia. Disse: «Alguns destes resultados podem ser reais e, se forem, quero sabê-lo. Podemos fazer uma segunda fase e definir antecipadamente o que conta como sucesso?»

Antes de começar a segunda fase, chegaram a um plano simples:

Pergunta O que combinaram
O que se espera que o assistente melhore? O tempo até à primeira resposta e o número de pedidos resolvidos sem intervenção humana
O que conta como sucesso? Uma melhoria clara em ambos os indicadores ao longo de quatro semanas
O que conta como insucesso? Não haver mudanças ou a satisfação global dos clientes piorar
E as três melhorias iniciais? Serão acompanhadas como hipóteses: se forem reais, deverão voltar a aparecer
O que será comunicado? Todas as métricas do painel, não apenas as favoráveis

Quatro semanas depois, os resultados eram mistos. Nos pedidos de faturação, a primeira resposta chegou mais depressa e houve mais casos resolvidos sem intervenção humana. Essa melhoria inicial era real. Nos outros tipos de pedido, nada mudou. O aumento da satisfação dos clientes francófonos e a diminuição dos contactos repetidos à quinta-feira desapareceram, como é habitual quando o acaso explica o resultado.

A empresa manteve o assistente para os pedidos de faturação e deixou de o usar nos restantes. Darragh ficou com um resultado que podia defender perante qualquer pessoa.

Como detetar esta falácia no seu próprio raciocínio

Todos pintamos alvos. Parece que estamos simplesmente a reparar num padrão, não a distorcer os resultados.

  • Escreva a previsão primeiro. Antes de consultar os resultados de um teste, de um lançamento ou de um novo hábito, escreva uma frase: «Se isto funcionar, espero observar X.» Demora trinta segundos.
  • Conte os seus tiros. Quando algo se destaca, pergunte-se quantas outras coisas analisou. Seja honesto quanto ao número.
  • Mostre os falhanços. Quando partilhar um resultado positivo, mencione também o que não mudou. As pessoas confiarão mais nos seus acertos.
  • Desconfie das histórias demasiado perfeitas. Se um padrão corresponder exatamente ao que esperava encontrar, é nessa altura que deve examiná-lo com mais cuidado.
Debata-o no Debatly“Deve uma empresa manter uma ferramenta nova se ela só melhorou claramente um dos muitos indicadores que deveria melhorar?”

Como praticar com IA

É mais difícil detetar um alvo pintado depois quando temos o diapositivo à frente e quem o apresenta está entusiasmado. Um debate permite-lhe praticar as perguntas com antecedência. No Debatly, vários modelos e personagens de IA defendem posições diferentes sobre a sua pergunta ao longo de várias rondas. Pode intervir a qualquer momento e, no fim, um juiz apresenta um veredicto fundamentado.

  • Ponha um padrão à prova. Escreva uma afirmação que tenha encontrado na sala de debate, por exemplo: «Os nossos novos emails de boas-vindas aumentaram a retenção dos clientes que se registaram ao fim de semana.» Peça a um lado que a defenda e ao outro que questione como o padrão foi encontrado.
  • Chame alguém que perceba de dados. Pergunte à Sofia, cientista de dados, quantas comparações poderão ter sido feitas e como seria um teste justo. Ela ajuda a transformar uma pista num plano.
  • Peça a um cético que procure os falhanços. Peça ao Viktor, o cético, que identifique o que ficou de fora: outros indicadores, grupos ou períodos.
  • Leia o veredicto. O juiz Alex explica quais foram os argumentos decisivos. Verifique se o lado vencedor tinha uma previsão feita antecipadamente ou apenas um grupo de resultados que parecia convincente.

Quando Sigrid levou o diapositivo de Darragh a debate, o lado que o questionava perguntou logo na primeira ronda quantas métricas eram acompanhadas no painel. Ela chegou à reunião a saber como fazer essa pergunta sem criar tensão.

Uma limitação importante

Os modelos de IA não têm acesso aos seus dados e não podem dizer-lhe se um padrão é real. Só um teste com novos dados pode fazê-lo. Também são capazes de inventar uma explicação plausível para qualquer padrão que lhes apresente, o equivalente a dar um pincel novo ao atirador. Além disso, muitos modelos tendem a concordar com aquilo em que parece acreditar (veja porque é que a IA concorda consigo). Use o debate para melhorar as suas perguntas e desenhar o teste. A resposta terá de vir dos dados.

Desenhe o alvo primeiro

A falácia do atirador do Texas transforma um padrão encontrado por acaso numa previsão aparentemente certeira. A solução é simples: decida o que procura antes de ver os resultados, conte todos os tiros e confirme se o padrão se repete com novos dados.

Esta semana, quando alguém lhe mostrar um resultado impressionante, faça uma pergunta: «Era isto que procurávamos antes de ver os dados?» Se encontrou um padrão que o entusiasma, leve-o a debate no Debatly e deixe que o outro lado procure primeiro os falhanços. Experimente. Pode consultar os planos na página de preços.

Debata-o no Debatly

“Falácia do atirador do Texas: exemplos e como identificá-la”

Perguntas frequentes

É encontrar um padrão nos resultados depois de os ver e tratá-lo como significativo, como se tivesse sido previsto. O padrão pode ser real, mas a forma como foi descoberto não o demonstra.
O nome vem de uma piada sobre um texano que dispara contra a parede de um celeiro e depois pinta um alvo à volta dos tiros que ficaram mais próximos. Não se sabe quem contou a história primeiro, mas ela já aparecia num artigo publicado em 1977 pelo epidemiologista Seymour Grufferman sobre concentrações de casos de doença.
A diferença está na ordem dos acontecimentos. Na seleção de dados, começa-se por uma afirmação e escolhem-se apenas as provas que a apoiam. O atirador do Texas começa pelos dados, encontra neles um grupo de resultados e constrói a afirmação à sua volta. Os dois erros aparecem muitas vezes juntos.
Costuma ser classificada como uma falácia informal: um erro na forma como se usam provas num argumento. É alimentada por um viés cognitivo chamado ilusão de agrupamento, a tendência para ver padrões significativos em dados aleatórios. O viés faz o padrão parecer real; a falácia está em apresentá-lo como prova.
Uma empresa acompanha trinta indicadores depois de lançar uma ferramenta, encontra os três que melhoraram e anuncia que a ferramenta funciona, sem mencionar os outros vinte e sete. Os comentadores que contam apenas as previsões em que acertaram fazem o mesmo.
Registe o que espera encontrar antes de consultar os resultados. Conte quantos indicadores analisou, mostre também os falhanços e teste qualquer padrão surpreendente com novos dados antes de o tratar como uma conclusão.
#texas-sharpshooter #logical-fallacies #critical-thinking #statistics #decision-making