Généralisation hâtive : exemples et taille d’échantillon

Ximena tient un petit café à San Antonio avec son associée, Anouk. Il y a deux semaines, elles ont ajouté un latte à l’avoine et à la cardamome à la carte. Samedi, trois clients s’en sont plaints : trop sucré, trop fort, « on dirait du savon ». À la fermeture, Ximena a tranché. « Les gens détestent ça. On le retire de la carte lundi. »

Anouk compte la caisse. « On en a vendu combien cette semaine ? »

Ximena vérifie. Cent quarante. Trois réclamations, et cent trente-sept personnes qui ont bu leur latte sans rien dire, dont quelques-unes qui en ont même commandé un deuxième.

Ximena n’a pas inventé les réclamations. Elle a simplement laissé trois tasses mécontentes parler au nom de cent quarante clients. C’est une généralisation hâtive. Ce raisonnement est si courant qu’il ne ressemble même pas à un raisonnement : on a l’impression de faire un simple constat. Voyons ce que c’est, pourquoi les petits échantillons trompent même les chercheurs, comment savoir si l’on dispose de suffisamment d’éléments et quoi répondre quand quelqu’un tire une grande conclusion d’une seule histoire.

Qu’est-ce qu’une généralisation hâtive ?

Une généralisation hâtive consiste à tirer une conclusion générale à partir d’un trop petit nombre de cas, ou de cas qui ne représentent pas le groupe visé. « J’ai croisé deux personnes désagréables à Paris, donc les Parisiens sont désagréables » en est la forme classique : un petit échantillon, une grande affirmation.

On rencontre aussi les termes généralisation abusive, échantillon insuffisant, conclusion précipitée ou l’ancienne expression latine secundum quid. Quand tout l’argument repose sur un seul exemple, on parle parfois de preuve par l’exemple.

Le mécanisme comporte trois étapes :

1. Quelques cas : un mauvais repas, deux recrues décevantes, trois réclamations.
2. Un grand groupe : tous les restaurants de la ville, tous les diplômés d’une école, tous vos clients.
3. Un saut logique : ce qui vaut pour quelques-uns est déclaré vrai pour tous.

C’est le numéro 18 de notre guide des sophismes. Nous allons plus loin ici, car le plus difficile n’est pas de retenir la définition. C’est de savoir quand un échantillon est trop petit, puisque toute généralisation part d’un certain nombre d’observations.

Exemples de généralisation hâtive

Vous reconnaîtrez sans doute ces situations. Le tableau montre où se produit le saut logique.

Dans chaque ligne, les faits sont réels. Une généralisation hâtive part rarement d’une information fausse. Elle part d’un fait vrai auquel on fait dire beaucoup plus qu’il ne permet.

Pourquoi les petits échantillons trompent presque tout le monde

Ce n’est pas une erreur de débutant. En 1971, Amos Tversky et Daniel Kahneman ont publié dans Psychological Bulletin un court article au titre malicieux : « Belief in the Law of Small Numbers ». La véritable loi des grands nombres indique que les grands échantillons tendent à ressembler à la population dont ils sont issus. Tversky et Kahneman ont montré que nous nous comportons comme si c’était aussi le cas des petits échantillons. Leurs questionnaires révélaient que même des psychologues professionnels accordaient trop de crédit aux résultats obtenus sur de petits groupes.

Quelques années plus tard, dans leur article de 1974 publié dans Science, « Judgment under Uncertainty », ils ont présenté ce qui est devenu le problème des hôpitaux :

Une ville compte deux hôpitaux. Environ 45 bébés naissent chaque jour dans le plus grand, contre 15 dans le plus petit. À peu près la moitié des bébés sont des garçons, mais cette proportion varie d’un jour à l’autre. Pendant un an, chaque hôpital a relevé les jours où plus de 60 % des nouveau-nés étaient des garçons. Quel hôpital a compté le plus de journées de ce type ?

La plupart des participants ont répondu que les deux hôpitaux en compteraient à peu près autant. Les autres se sont répartis presque également entre les deux réponses. Pourtant, c’est le petit hôpital qui en compte le plus. Avec 15 naissances, une journée déséquilibrée arrive facilement : avoir au moins dix garçons n’est pas si rare. Avec 45 naissances, les naissances supplémentaires ramènent plus souvent la proportion vers la moitié.

Voilà l’idée essentielle : les petits échantillons fluctuent davantage. Les chiffres les plus spectaculaires proviennent donc souvent des groupes les plus petits.

Les meilleurs et les pires sont tous deux petits

Dans Système 1 / Système 2, Kahneman décrit une étude des taux de cancer du rein dans les comtés américains. Les comtés aux taux les plus faibles étaient surtout ruraux et peu peuplés. On pourrait y voir l’effet de l’air pur et d’une alimentation plus saine, jusqu’à ce qu’on apprenne que les comtés aux taux les plus élevés étaient eux aussi principalement ruraux et peu peuplés. Les petites populations produisent simplement des écarts plus marqués, dans les deux sens.

Le statisticien Howard Wainer a raconté une histoire comparable à propos des établissements scolaires dans un article de 2007 publié dans American Scientist, « The Most Dangerous Equation ». Les petits établissements figuraient plus souvent que prévu parmi les meilleurs. Ce constat a contribué à promouvoir, avec le soutien notamment de la Fondation Gates, la division de grands établissements en structures plus petites. Mais lorsque Wainer et son collègue Harris Zwerling ont étudié les établissements de Pennsylvanie, ils ont constaté que les petits étaient également surreprésentés parmi les moins bons. Leur taille ne les rendait pas meilleurs : elle rendait leurs résultats moyens plus variables.

Généralisation hâtive, preuve anecdotique et notions proches

Ces notions se recoupent, mais leurs différences comptent quand on veut répondre avec précision.

La personne qui généralise hâtivement ne dispose généralement que de quelques cas. Celle qui sélectionne les preuves connaît l’ensemble et choisit ce qui l’arrange. Ximena, elle, n’avait pas encore regardé la caisse. Quant à l’induction paresseuse, elle rappelle que la solution n’est pas de « ne jamais généraliser ». Refuser de tirer les leçons d’une tendance claire est aussi une erreur.

Quand quelques exemples suffisent

Toute conclusion tirée de quelques cas n’est pas forcément hâtive. Voici des situations où un petit échantillon peut réellement servir.

• Un seul contre-exemple suffit à réfuter une affirmation universelle. Si quelqu’un dit « tous les cygnes sont blancs », un cygne noir suffit à lui donner tort. La généralisation hâtive passe de « quelques-uns » à « tous ». Passer de « un » à « pas tous » est parfaitement logique.
• Les cas se ressemblent beaucoup. Quelques prélèvements dans un lot bien mélangé en disent long sur ce lot. Les habitués de votre café ne constituent pas un lot bien mélangé.
• Les conséquences d’une erreur sont très inégales. Si un champignon cueilli dans un coin vous a rendu malade, inutile d’en goûter cent autres. Agir avec prudence sur la base d’indices limités est raisonnable. Prétendre en tirer une certitude est l’erreur.
• Vous formulez une question, pas une conclusion. « Deux recrues issues de cette formation sont parties rapidement. Y a-t-il quelque chose à creuser ? » est une bonne manière d’utiliser un petit échantillon.

La distinction utile est celle entre hypothèse et verdict. Un petit échantillon donne une bonne raison de commencer à chercher, mais une mauvaise raison d’arrêter.

Quatre questions pour évaluer une généralisation

Avant d’accepter une affirmation générale, qu’elle vienne de vous ou d’une autre personne, posez-vous ces quatre questions.

1. Combien de cas, sur combien au total ?

Il vous faut les deux chiffres. « Trois réclamations », cela semble beaucoup. « Trois réclamations sur cent quarante lattes vendus », cela ressemble davantage à une semaine ordinaire.

2. Comment ces cas ont-ils été sélectionnés ?

Demandez-vous pourquoi vous avez eu connaissance de ces cas-là. Les clients qui se plaignent ne constituent pas un échantillon aléatoire, pas plus que les auteurs d’avis ou les personnes au cœur d’histoires virales. Si ceux qui prennent la parole diffèrent de ceux qui se taisent, même un grand échantillon peut induire en erreur.

3. À quel point le groupe est-il varié ?

Plus le groupe est varié, plus il faut observer de cas. Quelques cuillerées suffisent à juger le goût d’une marmite de soupe. Quelques personnes ne vous apprennent presque rien sur une ville de plusieurs millions d’habitants.

4. À quoi ressemblerait un contre-exemple, et l’avez-vous cherché ?

Imaginez ce qui pourrait vous donner tort, puis cherchez-le. Si le latte déplaît aux clients, on devrait voir peu de commandes répétées et beaucoup de tasses à moitié pleines. Est-ce le cas ? Cette question vous protège aussi du biais de confirmation, qui pousse à ne chercher que ce qui va dans votre sens.

Quelques repères sur la taille d’un échantillon

Pas besoin de maîtriser les statistiques pour utiliser ces quatre questions, mais un ordre de grandeur peut aider. Pour une question à réponse oui ou non, dans un échantillon aléatoire, la marge d’erreur à un niveau de confiance habituel de 95 % est approximativement égale à un divisé par la racine carrée de la taille de l’échantillon.

Si 6 personnes sur 10 apprécient quelque chose dans un échantillon aléatoire, la proportion réelle pourrait raisonnablement se situer entre environ 30 et 90 %. Avec 100 personnes, la fourchette se resserre autour de 50 à 70 %. Ce calcul ne vaut que pour les échantillons aléatoires. Les réclamations et les avis n’en sont pas.

Exemple concret : le latte de Ximena

Voici ce que Ximena a noté le dimanche, après la question d’Anouk.

Elle est ensuite revenue sur les trois réclamations. Deux portaient sur le côté trop sucré et concernaient le même service de l’après-midi. Une nouvelle barista utilisait une dose entière de sirop au lieu d’une demi-dose.

Ximena a donc conservé le latte, corrigé la fiche recette et ajouté une option « moins sucré ». Les réclamations ne prouvaient pas que les clients détestaient la boisson. Elles montraient qu’un problème s’était produit pendant un service, une information bien plus utile.

Comment répondre à une généralisation hâtive

Lancer « c’est une généralisation hâtive ! » peut donner à l’autre personne l’impression que son expérience ne compte pas. La discussion risque alors de porter là-dessus. Essayez plutôt ceci : reconnaître le vécu, demander combien de cas sont concernés, élargir la perspective.

1. Reconnaissez le vécu. « Ça a l’air pénible, et je ne doute pas que ça soit arrivé. »
2. Demandez combien de cas sont concernés. « C’est un cas isolé ou tu as souvent constaté ça ? »
3. Élargissez la perspective, ou demandez à quoi elle pourrait ressembler. « Si c’était vrai pour la plupart d’entre eux, qu’est-ce qu’on observerait ? »

Voici quelques formulations possibles dans des situations courantes.

Les questions sont plus utiles que les étiquettes, pour la même raison que dans le questionnement socratique : elles permettent à l’autre personne de repérer elle-même ce qui manque. Si vous rédigez une réponse dans un débat ou une dissertation, notre guide pour construire une réfutation montre comment répondre à un exemple marquant sans le balayer d’un revers de main.

Quand l’anecdote concerne une expérience douloureuse

Lorsqu’une histoire évoque un préjudice, comme un effet indésirable d’un médicament, répondre « ce n’est qu’une anecdote » paraît froid. La personne peut aussi signaler un problème réel que les moyennes masquent. Vous pouvez reconnaître que son cas est important et mérite d’être examiné, sans admettre qu’il prouve une règle générale.

Comment éviter vos propres généralisations hâtives

Nous le faisons tous, surtout quand nous sommes fatigués, agacés ou pressés. Quelques réflexes peuvent aider :

• Dites le chiffre à voix haute. Il est plus difficile d’exagérer « trois personnes se sont plaintes » que « les gens détestent ça ».
• Nuancez le verbe. « Les diplômés de cette école pourraient être moins fiables » est une hypothèse à vérifier. « Ils ne sont pas fiables » est un verdict.
• Repérez « toujours », « jamais », « tout le monde » et « tous ». Ces mots signalent souvent l’endroit précis où le saut logique s’est produit.
• Méfiez-vous d’une conclusion qui vous arrange. Si elle confirme ce que vous vouliez déjà croire, cherchez davantage de cas, pas moins. Notre présentation des biais cognitifs explique pourquoi cette tendance est si forte.

Comment s’entraîner avec l’IA

Il est bien plus difficile de repérer une généralisation hâtive dans son propre raisonnement que dans celui des autres. Un débat aide, car quelqu’un est chargé de chercher ce qui manque. Sur Debatly, plusieurs modèles et personnages IA défendent différents points de vue sur votre question pendant plusieurs tours. Vous pouvez intervenir à tout moment, puis un juge rend un verdict motivé.

• Mettez votre conclusion à l’épreuve. Saisissez-la dans la salle de débat, par exemple : « Faut-il arrêter de recruter dans cette formation après deux embauches décevantes ? » Un camp plaidera pour agir sur ce constat, l’autre dira qu’il est trop tôt.
• Demandez au sceptique de chercher le total. Invitez Viktor, le sceptique à demander « sur combien au total ? » chaque fois qu’un intervenant cite un exemple. Vous verrez combien de récits convaincants perdent de leur force quand ce chiffre manque.
• Notez ce qui vous ferait changer d’avis. Demandez à chaque camp quelles observations lui donneraient tort. C’est la quatrième question de notre méthode, et elle vous fournit une courte liste de points à vérifier.
• Lisez le raisonnement du juge, pas seulement le verdict. Le juge Alex explique quels arguments ont fait pencher la balance. Si un point l’a emporté surtout grâce à une histoire frappante, soumettez-le aux quatre questions.
• Pour une décision à prendre, l’outil pour et contre avec l’IA présente d’abord les deux camps. Vous pouvez ainsi distinguer les arguments appuyés par une tendance de ceux qui reposent sur un seul cas.

Quand Ximena a soumis sa question sur le latte, le sceptique lui a demandé combien de clients en avaient recommandé avant même d’aborder les réclamations. Elle n’avait pas vérifié. C’est ce chiffre qui l’a fait changer d’avis.

Une limite à garder en tête

Les modèles d’IA peuvent signaler que votre échantillon est petit, mais ils ne peuvent pas compter vos clients à votre place. Ils peuvent aussi commettre la même erreur : présenter avec assurance une tendance générale à partir de maigres indices. Beaucoup ont également tendance à aller dans votre sens (voir pourquoi l’IA vous donne raison). Servez-vous du débat pour trouver les bonnes questions, puis répondez-y avec vos propres chiffres.

Comptez avant de conclure

Une généralisation hâtive donne l’impression de parler d’expérience, ce qui la rend convaincante. Le correctif est simple : avant de transformer quelques cas en règle, demandez-vous combien de cas vous avez observés, sur combien au total, et quelles personnes vous n’avez pas entendues.

Cette semaine, choisissez une opinion bien ancrée que vous avez sur un groupe, un produit ou un lieu. Notez sur combien de cas elle repose vraiment. Si une conclusion importante mérite un autre regard, soumettez-la à un débat sur Debatly et laissez un sceptique vous demander les chiffres. Essayez : les offres sont présentées sur la page tarifs.