Apprentissage · Article

Sophisme du tireur texan : exemples et comment le repérer

Qu'est-ce que le sophisme du tireur texan ? Découvrez pourquoi les coïncidences semblent si convaincantes, des exemples concrets et les questions à poser pour distinguer une vraie tendance d'un résultat choisi après coup.

Sophisme du tireur texan : exemples et comment le repérer

Sigrid dirige le service client d'une entreprise de logiciels de comptabilité. Pendant six semaines, son équipe a testé un assistant IA qui répond aux demandes simples avant qu'un conseiller ne les prenne en charge. Lors de la réunion de bilan, Darragh, le chef de produit qui a défendu le projet, affiche une diapositive.

« Trois réussites, annonce-t-il. La satisfaction des clients francophones a augmenté. Les clients recontactent moins le service le jeudi. Et les demandes liées à la facturation sont résolues 11 % plus vite. L'assistant fonctionne. »

Sigrid regarde le tableau de bord du service client sur son ordinateur. Il suit une trentaine d'indicateurs. La plupart n'ont pas bougé. Deux se sont légèrement dégradés. Les trois réussites de Darragh correspondent à de vrais chiffres, mais personne n'avait annoncé avant le test que l'assistant devait améliorer la satisfaction des francophones ou réduire les nouveaux contacts du jeudi.

Darragh n'a pas menti. Il a tiré sur une grange, puis dessiné une cible autour des impacts. Ce raisonnement porte un nom : le sophisme du tireur texan. Voici ce qu'il signifie, pourquoi il est si convaincant, où on le rencontre et comment distinguer une vraie tendance d'une cible dessinée après coup.

Qu'est-ce que le sophisme du tireur texan ?

Le sophisme du tireur texan consiste à repérer une tendance dans des données après avoir vu les résultats, puis à la présenter comme significative, voire comme si elle avait été prévue. On regarde les impacts regroupés et on oublie tous les tirs à côté. Les mêmes données servent deux fois : d'abord à trouver la tendance, puis à la « prouver ».

Le nom vient d'une vieille plaisanterie. Un homme tire sur le mur d'une grange, s'en approche et dessine une cible autour du groupe d'impacts le plus serré. Quiconque voit ensuite la grange le prend pour un tireur d'élite.

Trois indices permettent de reconnaître ce sophisme :

  1. La cible a été dessinée après les tirs. L'affirmation a été formulée en regardant les résultats, et non avant.
  2. Il y avait beaucoup d'endroits où chercher. De nombreux chiffres, groupes, dates ou lieux auraient pu faire apparaître une tendance.
  3. Les tirs ratés sont passés sous silence. Personne ne mentionne les vingt-sept indicateurs qui n'ont pas évolué.

C'est le numéro 21 de notre guide des sophismes et erreurs de raisonnement. Nous y consacrons un article entier, car le plus difficile est de remarquer qu'on tient soi-même le pinceau.

D'où vient ce nom ?

Personne ne sait qui a raconté cette histoire en premier. L'une des premières mentions connues dans une publication figure dans un article de 1977 sur la maladie de Hodgkin, paru dans la revue médicale Cancer et signé par l'épidémiologiste Seymour Grufferman. À propos de regroupements de cas identifiés après coup, il explique qu'ils rappellent l'histoire du tireur texan et qu'ils ne permettent pas de déterminer si le regroupement dépasse ce que le hasard pourrait produire.

C'est en épidémiologie que cette idée a trouvé l'une de ses applications les plus sérieuses. Face à un regroupement de cas, la première question est de savoir s'il serait surprenant de l'observer en l'absence de phénomène inhabituel.

Pourquoi le hasard crée des motifs apparents

Voici ce qui surprend souvent : le hasard produit des regroupements. Quand on répartit des éléments aléatoirement, ils ne se dispersent pas de façon parfaitement uniforme. Certains endroits en concentrent plusieurs, d'autres aucun. Notre cerveau interprète ces regroupements comme un signe.

L'un des meilleurs exemples vient de Londres pendant la guerre. Lors des attaques de bombes volantes pendant la Seconde Guerre mondiale, beaucoup affirmaient que les projectiles tombaient par groupes. En 1946, un actuaire nommé R. D. Clarke a publié dans le Journal of the Institute of Actuaries un court article mettant cette idée à l'épreuve.

Il a découpé 144 kilomètres carrés du sud de Londres en 576 carrés de 0,25 kilomètre carré, puis compté les impacts. Au total, 537 bombes étaient tombées dans la zone. Si elles étaient tombées de manière purement aléatoire, les statistiques prévoyaient environ 227 carrés sans impact et environ 7 carrés touchés quatre fois. Les chiffres observés étaient respectivement de 229 et 7. La correspondance restait étroite dans l'ensemble du tableau. Selon Clarke, le résultat n'apportait aucun argument en faveur de l'hypothèse d'un regroupement.

Certains carrés avaient bel et bien été touchés quatre ou cinq fois. Mais c'est précisément ce que le hasard peut produire. La signification a été ajoutée après coup.

Cherchez assez longtemps et vous trouverez quelque chose

La deuxième raison pour laquelle ce sophisme fonctionne tient à un calcul simple. Si chaque indicateur d'un tableau de bord a une chance sur vingt d'afficher une variation « notable » par pur hasard et que vous en examinez trente, il est normal qu'un ou deux paraissent remarquables, même si rien ne s'est réellement passé. Les statisticiens parlent du problème des comparaisons multiples : plus on pose de questions aux mêmes données, plus on obtient de réponses dues au hasard.

Exemples du sophisme du tireur texan

Vous avez probablement déjà rencontré ces situations. À chaque fois, la tendance a été découverte en examinant les résultats, puis présentée comme si elle avait été visée dès le départ.

Contexte Ce qu'affirme le tireur La cible dessinée après coup Les tirs ratés passés sous silence
Tableau de bord au travail « Le nouvel outil a amélioré trois indicateurs clés ! » Trois indicateurs choisis une fois les résultats connus Les 27 indicateurs stables ou en recul
Compléments alimentaires « Notre étude montre une amélioration du sommeil. » Un résultat parmi de nombreux critères mesurés Tous les autres critères sans effet observé
Prédictions « Ce commentateur avait vu juste : cinq de ses prédictions se sont réalisées ! » Cinq succès retenus après coup Les quinze prédictions erronées
Investissement « Cette stratégie aurait triplé votre mise depuis 2015. » Une règle ajustée aux cours passés Les centaines d'autres règles testées puis abandonnées

Ces tendances ne sont pas nécessairement fausses. L'erreur consiste à traiter une tendance découverte après coup comme si elle était déjà prouvée.

Regroupements de cancers : quand l'enjeu est grave

Ce n'est pas qu'un casse-tête pour statisticiens. Quand une population constate ce qui ressemble à un regroupement de cas de cancer, les habitants ont peur et méritent une réponse sérieuse.

Selon le National Cancer Institute américain, un regroupement de cancers correspond à un nombre de cas supérieur aux attentes au sein d'une population, dans une zone et sur une période définies. L'organisme précise aussi que, le cancer étant fréquent, des cas peuvent sembler regroupés sans avoir de lien entre eux. Il cite une revue de la littérature (Goodman et ses collègues, 2012) portant sur 576 enquêtes menées en vingt ans à propos de tels regroupements. Une augmentation du nombre de cancers n'a pu être confirmée que dans 72 cas. Parmi eux, seuls 3 ont pu être associés à une exposition possible, et une cause claire n'a été identifiée que dans un seul cas.

Cela ne veut pas dire que les voisins inquiets ont tort de s'alarmer, ni que les causes environnementales n'existent jamais. Cela signifie qu'un regroupement constitue une question, pas une réponse. Il faut étudier sa cause, pas la déduire d'une carte.

Débattez-en sur Debatly“Une commune devrait-elle financer une enquête sur chaque regroupement suspect de cancers, même si la plupart des enquêtes ne trouvent aucune cause ?”

Tireur texan, sélection des preuves et autres erreurs proches

Le sophisme du tireur texan a des cousins proches. Ils apparaissent souvent ensemble, mais il est utile de les distinguer : chacun appelle une question différente.

Erreur Ce qui se passe La question à poser
Tireur texan Une tendance est trouvée dans les résultats, puis présentée comme l'objectif initial « Était-elle prévue avant de voir les données ? »
Sélection des preuves On ne montre que les éléments favorables à une affirmation formulée à l'avance « Peut-on voir l'ensemble des résultats ? »
Biais de confirmation On remarque et retient surtout ce qui conforte ses convictions « Que m'attendrais-je à voir si j'avais tort ? »
Sophisme post hoc B suit A, donc A aurait forcément causé B « Qu'est-ce qui a changé d'autre au même moment ? »
Biais du survivant On ne voit que les cas qui sont arrivés jusqu'au bout « Qui manque dans ce tableau ? »
Généralisation hâtive On tire une règle générale de quelques cas « Sur combien de cas se fonde cette conclusion ? »
Illusion des séries Des regroupements aléatoires semblent forcément avoir un sens « À quel point le hasard pourrait-il produire un tel regroupement ? »

Le meilleur moyen de distinguer le tireur texan de la sélection des preuves, c'est de regarder l'ordre des événements. Celui qui sélectionne les preuves a d'abord sa cible, puis cherche les impacts qui l'arrangent. Le tireur texan a d'abord les impacts, puis dessine la cible autour. Dans la pratique, les deux se mélangent souvent.

Quand une tendance découverte après coup mérite d'être étudiée

Voici ce que beaucoup d'explications oublient : chercher des tendances dans des données déjà recueillies n'a rien de répréhensible. C'est même le point de départ de nombreuses découvertes. L'erreur, c'est de sauter l'étape suivante.

Une tendance repérée en explorant les données est une hypothèse. Elle ne devient un résultat solide que si on la teste sur des données qui n'ont pas servi à la découvrir. Dans la recherche, présenter une tendance observée après coup comme si elle avait été prévue porte un nom : le psychologue social Norbert Kerr l'a appelée HARKing, pour « hypothesizing after the results are known », dans un article de 1998. Son propos n'était pas de condamner l'exploration des données, mais de montrer qu'en la faisant passer pour une prédiction confirmée, on induit les lecteurs en erreur.

Exploration honnête Tireur texan
« Nous avons remarqué que les demandes de facturation étaient traitées plus vite. Vérifions si cela se confirme. » « Les demandes de facturation sont traitées plus vite. L'outil fonctionne. »
Précise combien de résultats ont été examinés Ne mentionne que les résultats favorables
Vérifie la tendance sur de nouvelles données Utilise les mêmes données pour trouver la tendance et la prouver
Accepte que la tendance puisse disparaître Trouve une autre tendance si la première disparaît

Quand sa tendance ne se confirme pas, le tireur texan dit rarement « je me suis trompé ». Il repère un autre groupe d'impacts sur la grange, ce qui ressemble beaucoup au fait de déplacer les buts.

Débattez-en sur Debatly“Peut-on qualifier un résultat de « réel » si le chercheur ne l'a remarqué qu'après avoir examiné les données ?”

Comment repérer ce sophisme : cinq questions

Pas besoin d'être statisticien pour reconnaître une cible dessinée après coup. Ces cinq questions suffisent souvent.

1. Quand la cible a-t-elle été dessinée ?

« Avions-nous annoncé avant les résultats que c'était ce que nous allions mesurer ? » Si l'objectif a été fixé à l'avance, l'atteindre est parlant. Sinon, on a une piste, pas une preuve.

2. Combien de possibilités avons-nous examinées ?

« Combien d'indicateurs, de groupes ou de périodes avons-nous étudiés ? » Une réussite sur un seul essai impressionne. Une réussite sur trente ressemble davantage à ce que produit le hasard.

3. Où sont les tirs ratés ?

« Et les indicateurs qui n'ont pas bougé ? » Demander à voir toute la grange est souvent le plus utile.

4. Le groupe est-il étrangement précis ?

« Les clients francophones sur mobile pendant les deux premières semaines » : voilà de quoi éveiller l'attention. Plus une tendance dépend de conditions particulières, plus elle risque d'avoir été extraite du bruit des données.

5. La tendance se retrouve-t-elle dans de nouvelles données ?

C'est la question décisive. Cherchez-la là où elle n'a pas été découverte : le mois suivant, dans une autre équipe, sur un autre échantillon. Une vraie tendance tend à se répéter. Une cible dessinée après coup s'efface souvent.

Comment réagir sans provoquer de conflit

Dire « c'est le sophisme du tireur texan » peut être juste, mais aide rarement. L'autre entend « tu triches » et se braque. Mieux vaut traiter la tendance comme une piste prometteuse.

Une méthode simple : reconnaître le résultat, demander à voir les autres, proposer un test.

Ce qu'on vous dit Ce que vous pouvez répondre
« Regarde, trois indicateurs ont augmenté ! » « Bonne nouvelle. Combien en suivions-nous au total ? J'aimerais aussi voir ceux qui n'ont pas bougé. »
« Les données montrent clairement que ce groupe réagit le mieux. » « Intéressant. Avions-nous prévu d'étudier ce groupe ou s'est-il distingué après coup ? »
« Il y a tellement de malades dans notre rue. Ça vient forcément d'ici. » « Il faut le signaler aux autorités sanitaires. Elles pourront vérifier si le nombre de cas dépasse ce qu'on attendrait par hasard. »
« Le test sur données passées montre que cette stratégie bat le marché. » « Combien de stratégies ont été testées avant celle-ci ? Et quels sont ses résultats depuis qu'elle a été choisie ? »

Avec quelqu'un que vous reverrez demain, la troisième étape compte particulièrement. « Testons ça correctement » lui donne une vraie occasion de confirmer son intuition.

Exemple détaillé : Sigrid et l'assistant IA

Sigrid n'a pas dit à Darragh que sa diapositive contenait un sophisme. Elle lui a répondu : « Certains de ces résultats sont peut-être réels. Si c'est le cas, je veux le savoir. Peut-on lancer une deuxième phase en définissant à l'avance ce qui comptera comme un succès ? »

Avant de commencer cette deuxième phase, ils se sont mis d'accord sur un plan simple :

Question Leur décision
Que doit améliorer l'assistant ? Le délai avant la première réponse et le nombre de demandes résolues sans intervention humaine
Qu'est-ce qui constituerait un succès ? Une amélioration nette des deux indicateurs sur quatre semaines
Qu'est-ce qui constituerait un échec ? Aucun changement ou une baisse de la satisfaction globale
Que faire des trois résultats encourageants ? Les suivre comme des hypothèses : s'ils sont réels, ils devraient réapparaître
Que faut-il communiquer ? Tous les indicateurs du tableau de bord, pas seulement les bons

Quatre semaines plus tard, le bilan était contrasté. Pour les demandes de facturation, la première réponse arrivait plus vite et les problèmes étaient plus souvent résolus sans intervention humaine : ce premier résultat s'est confirmé. Les autres demandes n'avaient pas changé. La hausse de satisfaction des francophones et la baisse des nouveaux contacts le jeudi avaient disparu, comme cela arrive souvent avec les effets du hasard.

L'entreprise a conservé l'assistant pour les demandes de facturation et cessé de l'utiliser pour les autres. Darragh disposait désormais d'un résultat qu'il pouvait défendre.

Comment éviter ce piège dans ses propres raisonnements

Nous dessinons tous des cibles après coup. On a l'impression de faire une découverte, pas de tricher.

  • Notez votre prédiction avant de regarder. Avant de consulter les résultats d'un test, d'un lancement ou d'une nouvelle habitude, écrivez une phrase : « Si ça fonctionne, je m'attends à observer X. » Cela prend trente secondes.
  • Comptez vos tirs. Quand un résultat ressort, demandez-vous combien d'autres vous avez examinés. Soyez honnête sur ce nombre.
  • Montrez aussi les résultats négatifs. Quand vous partagez une réussite, dites ce qui n'a pas changé. Vos réussites n'en seront que plus crédibles.
  • Méfiez-vous des histoires trop parfaites. Si une tendance correspond exactement à ce que vous espériez, c'est le moment de redoubler de vigilance.
Débattez-en sur Debatly“Une entreprise devrait-elle conserver un nouvel outil s'il n'a clairement amélioré qu'un seul des nombreux indicateurs visés ?”

Comment s'entraîner avec l'IA

Il est plus difficile de reconnaître une cible dessinée après coup quand la diapositive est devant vous et que la personne qui la présente déborde d'enthousiasme. Un débat permet de préparer vos questions. Sur Debatly, plusieurs modèles et personnages IA défendent différents points de vue sur votre question pendant plusieurs échanges. Vous pouvez intervenir à tout moment, puis un juge rend un verdict motivé.

  • Mettez une tendance à l'épreuve. Saisissez dans la salle de débat une affirmation que vous avez entendue, par exemple : « Nos nouveaux e-mails de bienvenue ont amélioré la fidélisation des clients inscrits le week-end. » Demandez à un camp de la défendre et à l'autre d'examiner comment cette tendance a été trouvée.
  • Faites appel à une spécialiste des données. Demandez à Sofia, la data scientist combien de comparaisons ont pu être effectuées et à quoi ressemblerait un test équitable. Elle peut vous aider à transformer une piste en protocole.
  • Demandez les résultats manquants à un sceptique. Invitez Viktor, le sceptique à dresser la liste de ce que l'affirmation omet : autres indicateurs, autres groupes, autres périodes.
  • Lisez le verdict. Le juge Alex explique quels arguments ont fait pencher la balance. Vérifiez si le camp gagnant s'appuyait sur une prédiction formulée à l'avance ou seulement sur un regroupement séduisant.

Quand Sigrid a soumis la diapositive de Darragh à un débat, le camp critique a demandé dès le premier échange combien d'indicateurs figurait sur le tableau de bord. Elle est arrivée à la réunion en sachant comment poser la question avec tact.

Une limite à garder en tête

Les modèles d'IA ne voient pas vos données et ne peuvent pas déterminer si une tendance est réelle. Seul un test sur de nouvelles données peut le faire. Ils savent aussi inventer une histoire plausible pour n'importe quelle tendance qu'on leur présente, une nouvelle version du pinceau du tireur texan. De nombreux modèles ont en outre tendance à aller dans votre sens (voir pourquoi l'IA vous donne raison). Utilisez le débat pour affiner vos questions et concevoir le test. La réponse devra toujours venir des données.

Dessinez la cible avant de tirer

Le sophisme du tireur texan transforme une tendance due au hasard en prédiction apparemment confirmée. Le remède est simple : définissez votre objectif avant de regarder les résultats, comptez tous les tirs et vérifiez si la tendance se retrouve ailleurs.

Cette semaine, si quelqu'un vous présente un résultat frappant, posez une question : « Est-ce ce que nous cherchions avant de voir les chiffres ? » Et si une tendance vous enthousiasme, soumettez-la à un débat sur Debatly pour laisser l'autre camp chercher d'abord les résultats manquants. Essayez : les formules sont présentées sur la page des tarifs.

Débattez-en sur Debatly

“Sophisme du tireur texan : exemples et comment le repérer”

FAQ

C'est le fait de repérer une tendance dans des résultats après coup, puis de lui donner du sens comme si elle avait été prévue. La tendance est peut-être réelle, mais la façon dont elle a été trouvée ne le démontre pas.
Le nom vient d'une plaisanterie sur un Texan qui tire sur le mur d'une grange, puis dessine une cible autour des impacts les plus proches les uns des autres. Personne ne sait qui l'a racontée en premier, mais elle figurait dès 1977 dans un article de l'épidémiologiste Seymour Grufferman sur les regroupements de cas de maladie.
La différence tient au moment où l'affirmation est formulée. La sélection des preuves part d'une idée, puis ne retient que les éléments qui la soutiennent. Le tireur texan part des résultats, y repère un regroupement et construit son affirmation autour de celui-ci. Les deux erreurs se rencontrent souvent ensemble.
On le classe généralement parmi les sophismes informels : c'est une erreur dans la manière d'utiliser les preuves pour argumenter. Il est alimenté par un biais cognitif appelé « illusion des séries », qui nous pousse à voir des tendances significatives dans des données aléatoires. Le biais donne à la tendance une apparence de réalité ; le sophisme consiste à la présenter comme une preuve.
Après le lancement d'un nouvel outil, une entreprise suit trente indicateurs, sélectionne les trois qui se sont améliorés et annonce que l'outil fonctionne sans mentionner les vingt-sept autres. Les commentateurs qui ne comptent que leurs prédictions exactes font la même chose.
Notez ce que vous vous attendez à trouver avant de regarder les résultats. Comptez les éléments que vous avez examinés, mentionnez aussi ceux qui n'ont rien montré et vérifiez toute tendance surprenante sur de nouvelles données avant d'en tirer une conclusion.
#texas-sharpshooter #logical-fallacies #critical-thinking #statistics #decision-making