Sigrid vede tým zákaznické podpory ve firmě, která vyvíjí účetní software. Její tým šest týdnů zkoušel AI asistenta, který odpovídá na jednoduché požadavky, než se jich ujme člověk. Na schůzce k vyhodnocení pilotního provozu otevře Darragh, produktový manažer, který asistenta prosazoval, prezentaci.
„Máme tři úspěchy,“ říká. „Vzrostla spokojenost francouzsky mluvících zákazníků. Ve čtvrtek ubylo opakovaných kontaktů. A požadavky k fakturaci vyřizujeme o jedenáct procent rychleji. Asistent funguje.“
Sigrid se na notebooku podívá do přehledu zákaznické podpory. Sleduje zhruba třicet ukazatelů. Většina se nepohnula. Dva se mírně zhoršily. Darraghova tři zlepšení jsou skutečná čísla, ale před spuštěním pilotu nikdo neřekl, že cílem je zvýšit spokojenost francouzsky mluvících zákazníků nebo snížit počet opakovaných kontaktů ve čtvrtek.
Darragh nelhal. Nejdřív vystřelil na stodolu a teprve potom kolem zásahů namaloval terč. Tomuto postupu se říká klam texaského ostrostřelce. V článku si vysvětlíme, jak funguje, proč je tak přesvědčivý, kde se s ním setkáte a jakými otázkami odlišíte skutečný vzorec od domalovaného terče.
Co je klam texaského ostrostřelce?
Klam texaského ostrostřelce spočívá v tom, že si ve výsledcích zpětně vyberete vzorec a pak ho prezentujete jako významné zjištění, případně jako něco, co jste od začátku předpovídali. Soustředíte se na shluk zásahů a přehlížíte všechno kolem. Stejná data použijete dvakrát: nejdřív k nalezení vzorce a potom jako jeho „důkaz“.
Název pochází ze starého vtipu. Muž vystřílí několik ran do stěny stodoly, pak k ní přijde a kolem nejhustšího shluku děr namaluje terč. Každý, kdo stodolu uvidí později, si pomyslí, jak skvěle střílí.
Poznáte to podle tří znaků:
- Terč vznikl až po výstřelech. Tvrzení někdo sestavil podle výsledků, ne předem.
- Bylo kde hledat. K dispozici byla spousta čísel, skupin, dat nebo míst, kde se nějaký vzorec mohl objevit.
- Ostatní zásahy chybí. Nikdo nezmíní sedmadvacet ukazatelů, které se nezměnily.
V našem přehledu logických klamů jde o položku číslo 21. Tady se na ni podíváme podrobněji, protože nejtěžší je všimnout si, kdy štětec držíte vy sami.
Odkud se vzal název
Nikdo neví, kdo vtip vyprávěl jako první. Jedno z prvních známých tištěných použití pochází z článku o Hodgkinově chorobě, který v roce 1977 publikoval epidemiolog Seymour Grufferman v lékařském časopise Cancer. Když psal o shlucích případů rozpoznaných až zpětně, poznamenal, že „takové dodatečně zjištěné shluky připomínají příběh texaského ostrostřelce“ a samy o sobě neumožňují určit, zda jde o víc než náhodu.
Právě v epidemiologii má tato myšlenka mimořádný význam. U každého shluku případů se totiž nejdřív musíme zeptat, zda by byl překvapivý i v případě, že se neděje nic neobvyklého.
Proč náhodná data vypadají jako vzorec
Tohle většinu lidí překvapí: náhoda vytváří shluky. Když něco rozmístíte náhodně, nerozprostře se to rovnoměrně. Někde se toho sejde víc, jinde nic. Náš mozek v těchto shlucích hledá význam.
Výmluvný příklad pochází z válečného Londýna. Během útoků létajících pum za druhé světové války lidé často tvrdili, že bomby dopadají ve shlucích. V roce 1946 publikoval pojistný matematik R. D. Clarke v časopise Journal of the Institute of Actuaries krátkou studii, v níž toto přesvědčení prověřil.
Rozdělil 144 kilometrů čtverečních jižního Londýna na 576 čtverců po čtvrt kilometru čtverečním a spočítal zásahy. V oblasti dopadlo 537 bomb. Pokud by dopadaly zcela náhodně, statistika předpovídala asi 227 čtverců bez zásahu a asi 7 čtverců se čtyřmi zásahy. Ve skutečnosti jich bylo 229 a 7. Podobně přesná shoda vycházela i u ostatních počtů. Clarke proto napsal, že výsledek „nepodporuje hypotézu o shlukování“.
Některé čtverce skutečně zasáhly čtyři nebo pět bomb. Přesně to ale dokáže vytvořit náhoda. Význam jim lidé připsali až dodatečně.
Když hledáte na dost místech, něco najdete
Druhý důvod, proč tento klam funguje, je prostá matematika. Pokud má každý ukazatel v přehledu šanci 1 ku 20, že čistě náhodou vykáže „výraznou“ změnu, pak při kontrole 30 ukazatelů můžete čekat jeden nebo dva nápadné výsledky, i když se ve skutečnosti nic nezměnilo. Statistici tomu říkají problém vícenásobného porovnávání: čím víc otázek stejným datům položíte, tím víc odpovědí dostanete pouhou náhodou.
Příklady klamu texaského ostrostřelce
S většinou těchto situací jste se už nejspíš setkali. Ve všech případech někdo nejdřív našel vzorec a pak ho předložil, jako by na něj od začátku mířil.
| Kde | Co tvrdí „ostrostřelec“ | Domalovaný terč | Co zůstalo stranou |
|---|---|---|---|
| Firemní přehled | „Nový nástroj zlepšil tři klíčové ukazatele!“ | Tři ukazatele vybrané až po zjištění výsledků | Zbylých 27 ukazatelů, které se nezměnily nebo zhoršily |
| Doplňky stravy | „Naše studie ukázala, že zlepšuje kvalitu spánku.“ | Jeden z mnoha sledovaných výsledků | Ostatní výsledky, u kterých se žádný účinek neprojevil |
| Předpovědi | „Ten komentátor to trefil: pět předpovědí mu vyšlo!“ | Pět úspěchů vybraných zpětně | Patnáct předpovědí, které nevyšly |
| Investování | „S touto strategií byste od roku 2015 ztrojnásobili své peníze.“ | Pravidlo upravené tak, aby sedělo na historické ceny | Stovky pravidel, která někdo vyzkoušel a zavrhl |
Žádný z těchto vzorců nemusí být nutně falešný. Chyba spočívá v tom, že se zpětně nalezený vzorec vydává za potvrzené zjištění.
Shluky případů rakoviny: když jde o hodně
Nejde jen o statistickou hádanku. Když si lidé v obci všimnou zdánlivého shluku případů rakoviny, mají strach a zaslouží si věcnou odpověď.
Podle amerického Národního onkologického institutu (NCI) je shlukem případů rakoviny vyšší než očekávaný počet onemocnění v určité skupině lidí, na vymezeném území a za určité období. NCI zároveň upozorňuje, že rakovina je častá, takže případy mohou působit jako shluk, i když mezi nimi není žádná souvislost. Odkazuje na přehled Goodmana a kolegů z roku 2012, který zahrnoval 576 šetření podezřelých shluků za 20 let. Zvýšený výskyt rakoviny se podařilo potvrdit pouze v 72 případech. Jen u 3 z nich byla zjištěna možná souvislost s vystavením rizikovému vlivu a pouze v jednom případě se podařilo určit jasnou příčinu.
To neznamená, že obavy místních jsou hloupé nebo že příčiny v životním prostředí nikdy neexistují. Znamená to, že samotný shluk je otázka, ne odpověď. Příčinu je potřeba prověřit, ne ji vyčíst z mapy.
Klam texaského ostrostřelce, cherry picking a příbuzné chyby
Tento klam má blízké příbuzné. Často se vyskytují společně, ale vyplatí se je rozlišovat: na každý platí trochu jiná otázka.
| Chyba | Co se děje | Otázka, která ji odhalí |
|---|---|---|
| Klam texaského ostrostřelce | Ve výsledcích se najde vzorec a následně se vydává za původní cíl | „Předpověděli jsme to, než jsme viděli data?“ |
| Cherry picking, účelový výběr důkazů | Na podporu předem vytvořeného tvrzení se ukážou jen příznivé důkazy a zbytek se skryje | „Můžeme vidět všechna data?“ |
| Konfirmační zkreslení | Všímáte si hlavně toho, co odpovídá vašemu přesvědčení, a lépe si to pamatujete | „Co bych čekal, že uvidím, kdybych se mýlil?“ |
| Klam post hoc | B následovalo po A, a proto se předpokládá, že A způsobilo B | „Co dalšího se změnilo ve stejnou dobu?“ |
| Zkreslení přeživších | Vidíte jen případy, které prošly výběrem | „Kdo v tomhle přehledu chybí?“ |
| Ukvašené zobecnění | Z několika případů se vyvodí obecné pravidlo | „O kolik případů se to opírá?“ |
| Iluze shlukování | Náhodné shluky vypadají, jako by musely něco znamenat | „Jak často by podobný shluk vznikl čistě náhodou?“ |
Nejsnazší způsob, jak odlišit texaského ostrostřelce od účelového výběru důkazů, je sledovat pořadí. Člověk, který účelově vybírá důkazy, má nejdřív terč a hledá zásahy, které se mu hodí. Texaský ostrostřelec má nejdřív zásahy a teprve podle nich kreslí terč. V praxi se obojí často prolíná.
Kdy je v pořádku najít vzorec až zpětně
Na jednu věc se v podobných vysvětleních často zapomíná. Hledat vzorce v již nasbíraných datech není nic špatného. Začíná tak řada objevů. Chybou je vynechat další krok.
Vzorec, kterého si všimnete při zkoumání dat, je hypotéza. Zjištěním se stává až tehdy, když obstojí v testu na datech, která jste k jeho objevení nepoužili. Věda má pro vydávání dodatečně nalezeného vzorce za předem plánovanou hypotézu vlastní pojem: sociální psycholog Norbert Kerr ho v článku z roku 1998 nazval HARKing, z anglického „hypothesizing after the results are known“, tedy vytváření hypotéz až po seznámení s výsledky. Kerr netvrdil, že zkoumání dat je špatné. Upozorňoval, že když se průzkum dat převlékne za potvrzenou předpověď, čtenáře to mate.
| Poctivé zkoumání | Texaský ostrostřelec |
|---|---|
| „Všimli jsme si, že se požadavky k fakturaci vyřizují rychleji. Ověřme, jestli to platí i dál.“ | „Požadavky k fakturaci se vyřizují rychleji. Nástroj funguje.“ |
| Uvede, kolik věcí se kontrolovalo | Zmíní jen úspěchy |
| Ověří vzorec na nových datech | Stejnými daty vzorec najde i „prokáže“ |
| Přijme, když se vzorec znovu neobjeví | Když vzorec zmizí, najde jiný |
Když se vzorec texaského ostrostřelce nepotvrdí, málokdy řekne „Mýlil jsem se.“ Najde na stodole jiný shluk děr. To už má blízko k posouvání brankových tyčí.
Jak klam poznat: pět otázek
K odhalení domalovaného terče nepotřebujete vystudovat statistiku. Většinu práce zvládne těchto pět otázek.
1. Kdy vznikl terč?
„Řekl někdo ještě před zjištěním výsledků, že budeme sledovat právě tohle?“ Pokud byl cíl zapsaný předem, zásah má vypovídací hodnotu. Pokud ne, máte vodítko, nikoli důkaz.
2. Na kolika místech se hledalo?
„Kolik ukazatelů, skupin nebo období jsme prověřili?“ Jeden zásah z jednoho pokusu je působivý. Jeden zásah ze třiceti může být docela obyčejná náhoda.
3. Kde jsou ostatní výsledky?
„A co ukazatele, které se nezměnily?“ Nejužitečnější je vidět celou stodolu, ne jen namalovaný terč.
4. Není sledovaná skupina podezřele úzká?
„Francouzsky mluvící zákazníci na mobilech během prvních dvou týdnů“ by měli vzbudit pozornost. Čím víc podmínek vzorec potřebuje, tím pravděpodobněji byl vyříznutý ze statistického šumu.
5. Objeví se vzorec i v nových datech?
Tohle je rozhodující otázka. Ověřte vzorec jinde, než kde jste ho našli: další měsíc, na jiné pobočce nebo v jiném vzorku. Skutečný vzorec má tendenci se opakovat. Domalovaný terč obvykle vybledne.
Jak reagovat, aniž by z toho byla hádka
„To je klam texaského ostrostřelce“ může být pravda, ale málokdy to pomůže. Druhý člověk uslyší „podvádíš“ a začne se bránit. Lepší je brát nalezený vzorec jako slibnou stopu.
Držte se jednoduchého postupu: uznejte zjištění, zeptejte se na ostatní výsledky a navrhněte ověření.
| Co slyšíte | Co můžete říct |
|---|---|
| „Podívej, tři ukazatele se zlepšily!“ | „To je fajn. Kolik jsme jich sledovali celkem? Rád bych viděl i ty, které se nezměnily.“ |
| „Data jasně ukazují, že tahle skupina reaguje nejlépe.“ | „Zajímavé. Chtěli jsme se na tuhle skupinu zaměřit od začátku, nebo vynikla až ve výsledcích?“ |
| „V naší ulici je nemocných tolik lidí. Musí za tím být něco tady.“ | „Stojí za to nahlásit to hygienické stanici. Může prověřit, jestli je případů víc, než by se dalo čekat náhodou.“ |
| „Test na historických datech ukazuje, že tahle strategie překonává trh.“ | „Kolik strategií se zkoušelo před touhle? A jak si vede od chvíle, kdy byla vybrána?“ |
U člověka, se kterým budete pracovat i zítra, je nejdůležitější poslední krok. „Pojďme to pořádně ověřit“ mu dává možnost prokázat, že má opravdu pravdu.
Příklad z praxe: Sigrid a AI asistent
Sigrid Darraghovi neřekla, že má v prezentaci logický klam. Řekla: „Některá z těch zlepšení mohou být skutečná, a pokud jsou, chci to vědět. Můžeme spustit druhou fázi a předem si určit, co budeme považovat za úspěch?“
Než druhou fázi spustili, dohodli se na stručném plánu:
| Otázka | Na čem se dohodli |
|---|---|
| Co má asistent změnit? | Čas do první odpovědi a počet požadavků vyřešených bez zásahu člověka |
| Co bude úspěch? | Zřetelné zlepšení obou ukazatelů během čtyř týdnů |
| Co bude neúspěch? | Žádná změna nebo celkové zhoršení spokojenosti zákazníků |
| Co s původními třemi úspěchy? | Budou je sledovat jako hypotézy: pokud jsou skutečné, měly by se objevit znovu |
| Co zveřejní? | Všechny ukazatele v přehledu, nejen ty příznivé |
Po čtyřech týdnech byly výsledky smíšené. U požadavků k fakturaci se zkrátil čas do první odpovědi a častěji se vyřešily bez člověka. Tohle původní zlepšení tedy bylo skutečné. Ostatní požadavky se nezměnily. Vyšší spokojenost francouzsky mluvících zákazníků i nižší počet opakovaných kontaktů ve čtvrtek zmizely, jak to u náhodných výkyvů bývá.
Firma si asistenta nechala pro požadavky k fakturaci a jinde ho přestala používat. Darragh získal výsledek, který mohl před kýmkoli obhájit.
Jak klam odhalit ve vlastním uvažování
Terče domalováváme všichni. Připadá nám to jako dobrý postřeh, ne jako podvod.
- Nejdřív si zapište předpověď. Než se podíváte na výsledky testu, uvedení produktu nebo nového návyku, napište si jednu větu: „Pokud to funguje, očekávám X.“ Zabere to půl minuty.
- Spočítejte své výstřely. Když vás něco zaujme, zeptejte se, na kolik dalších věcí jste se dívali. Počet si nepřikrášlujte.
- Ukažte i to, co nevyšlo. Když sdílíte úspěch, zmiňte také, co se nezměnilo. Lidé pak budou vašim úspěchům víc věřit.
- Pozor na až příliš pěkné příběhy. Pokud vzorec dokonale odpovídá tomu, v co jste doufali, prověřte ho obzvlášť pečlivě.
Jak si rozpoznávání klamu procvičit s AI
Odhalit domalovaný terč je těžší, když máte před sebou prezentaci a její autor nadšeně mluví. V debatě si můžete správné otázky natrénovat předem. V Debatly o vaší otázce v několika kolech diskutují různé AI modely a postavy. Kdykoli můžete vstoupit do debaty a na závěr dostanete od soudce odůvodněný verdikt.
- Předložte vzorec k posouzení. Vložte do debatní místnosti tvrzení, se kterým jste se setkali, například: „Naše nové uvítací e-maily zvýšily míru udržení zákazníků, kteří se zaregistrovali o víkendu.“ Požádejte jednu stranu, aby ho hájila, a druhou, aby zpochybnila způsob, jakým bylo zjištěno.
- Přizvěte odbornici na data. Zeptejte se datové analytičky Sofie, kolik porovnání mohlo proběhnout a jak by vypadal poctivý test. Pomůže vám proměnit zajímavou stopu v plán ověření.
- Požádejte skeptika o chybějící výsledky. Nechte skeptika Viktora vyjmenovat, co tvrzení opomíjí: další ukazatele, skupiny nebo období.
- Přečtěte si verdikt. Soudce Alex vysvětlí, které argumenty v debatě obstály. Všímejte si, zda vítězná strana měla předem stanovenou předpověď, nebo jen dobře vypadající shluk.
Když Sigrid vložila Darraghovu prezentaci do debaty, strana, která tvrzení zpochybňovala, se hned v prvním kole zeptala, kolik ukazatelů přehled sledoval. Na schůzku tak šla s jasnou představou, jak se zeptat citlivě.
Co AI nedokáže
AI modely nevidí vaše data a nedokážou rozhodnout, jestli je vzorec skutečný. To může ukázat až test na nových datech. Navíc dovedou pro téměř jakýkoli předložený vzorec vymyslet věrohodné vysvětlení, což je jen jiná podoba ostrostřelcova štětce. Mnohé modely také mají sklon přikyvovat tomu, čemu zjevně věříte vy (více v článku proč s vámi AI souhlasí). Debatu využijte k formulování lepších otázek a návrhu testu. Odpověď musí nakonec přijít z dat.
Nejdřív nakreslete terč
Klam texaského ostrostřelce funguje tak, že náhodně nalezený vzorec vydává za splněnou předpověď. Obrana je prostá: předem si určete, na co míříte, počítejte všechny výstřely a ověřte, zda se vzorec objeví i v nových datech.
Až vám tento týden někdo ukáže působivý výsledek, zeptejte se: „Hledali jsme právě tohle, ještě než jsme se podívali na data?“ Pokud vás nějaký vzorec zaujal, zkuste ho probrat v debatě na Debatly a nechte druhou stranu nejdřív hledat to, co chybí. Vyzkoušejte to. Přehled plánů najdete na stránce s ceníkem.
“Klam texaského ostrostřelce: příklady a jak ho poznat”