Sigrid vedie zákaznícku podporu vo firme, ktorá vyvíja účtovný softvér. Jej tím šesť týždňov skúšal AI asistenta, ktorý odpovedá na jednoduché požiadavky skôr, než ich prevezme človek. Na hodnotiacej porade otvorí prezentáciu produktový manažér Darragh, ktorý presadzoval jeho zavedenie.
„Máme tri úspechy,“ povie. „Spokojnosť francúzsky hovoriacich zákazníkov stúpla. Vo štvrtok sa menej zákazníkov ozýva opakovane. A požiadavky týkajúce sa fakturácie uzatvárame o jedenásť percent rýchlejšie. Asistent funguje.“
Sigrid sa pozrie na prehľad podpory vo svojom notebooku. Sleduje približne tridsať ukazovateľov. Väčšina sa nezmenila. Dva sa mierne zhoršili. Darraghove tri úspechy vychádzajú zo skutočných čísel, no pred začiatkom skúšky nikto nepovedal, že asistent má zlepšiť práve spokojnosť francúzsky hovoriacich zákazníkov alebo štvrtkové opakované kontakty.
Darragh neklamal. Najprv strieľal do stodoly a až potom namaľoval terč okolo dier. Tento postup má názov: klam texaského ostreľovača. V článku si vysvetlíme, čo znamená, prečo je taký presvedčivý, kde sa s ním stretnete a akými otázkami odlíšite skutočný vzorec od dodatočne namaľovaného terča.
Čo je klam texaského ostreľovača?
Klam texaského ostreľovača vzniká, keď vo výsledkoch nájdete vzorec až po tom, čo ste si ich pozreli, a potom ho prezentujete ako významný alebo dokonca ako niečo, čo ste od začiatku predpovedali. Sústredíte sa na zásahy blízko seba a ignorujete ostatné. Tie isté údaje použijete dvakrát: najprv na nájdenie vzorca a potom na jeho „potvrdenie“.
Názov pochádza zo starého vtipu. Muž strieľa do steny stodoly, potom k nej podíde a okolo najhustejšej skupiny dier namaľuje terč. Každý, kto stodolu neskôr uvidí, si pomyslí, aký je to skvelý strelec.
Prezradia ho tri znaky:
- Terč vznikol až po výstreloch. Tvrdenie sa sformovalo pri pohľade na výsledky, nie pred nimi.
- Bolo kde hľadať. K dispozícii bolo veľa čísel, skupín, dátumov alebo miest, v ktorých sa mohol objaviť nejaký vzorec.
- Netrafené miesta zostali bokom. O dvadsiatich siedmich ukazovateľoch, ktoré sa nezmenili, nikto nehovorí.
V našom prehľade logických klamov ho nájdete pod číslom 21. Tu sa mu pozrieme na zúbok podrobnejšie, pretože najťažšie je všimnúť si, keď ten štetec držíte vy sami.
Odkiaľ pochádza názov
Nikto nevie, kto tento vtip povedal ako prvý. Jedna z najstarších známych písomných zmienok sa nachádza v článku o Hodgkinovej chorobe z roku 1977, ktorý v lekárskom časopise Cancer uverejnil epidemiológ Seymour Grufferman. Pri opise zhlukov prípadov identifikovaných až spätne poznamenal, že „takéto dodatočne zistené zhluky pripomínajú príbeh texaského ostreľovača“ a nedovoľujú určiť, či ide o viac než náhodu.
Práve v epidemiológii našla táto myšlienka jedno z najdôležitejších využití. Pri každom zhluku prípadov sa treba najprv opýtať, či by bol prekvapivý aj vtedy, keby sa nedialo nič nezvyčajné.
Prečo náhodné údaje vyzerajú ako vzorec
Toto mnohých prekvapí: náhoda vytvára zhluky. Keď veci rozmiestnite náhodne, nerozložia sa rovnomerne. Na niektorých miestach ich bude viac, inde žiadna. Náš mozog v takýchto zhlukoch vidí odkaz.
Výborný príklad pochádza z vojnového Londýna. Počas útokov lietajúcimi bombami za druhej svetovej vojny ľudia často tvrdili, že bomby dopadajú v zhlukoch. V roku 1946 poistný matematik R. D. Clarke uverejnil v časopise Journal of the Institute of Actuaries krátku štúdiu, v ktorej toto presvedčenie preveril.
Územie južného Londýna s rozlohou 144 štvorcových kilometrov rozdelil na 576 štvorcov s plochou štvrť štvorcového kilometra a spočítal zásahy. V oblasti dopadlo 537 bômb. Ak bomby padali čisto náhodne, podľa štatistiky malo zostať približne 227 štvorcov bez zásahu a približne 7 štvorcov mali zasiahnuť štyri bomby. Skutočné počty boli 229 a 7. Výsledky sa podobali predpovedi aj v ďalších riadkoch tabuľky. Clarke uzavrel, že výsledok „nepodporuje hypotézu o zhlukovaní“.
Niektoré štvorce naozaj zasiahli štyri či päť bômb. Presne takéto zhluky však vytvára aj náhoda. Význam im ľudia prisúdili až spätne.
Keď hľadáte na dosť miestach, niečo nájdete
Druhý dôvod, prečo tento klam funguje, je jednoduchá matematika. Ak má každý ukazovateľ v prehľade šancu 1 k 20, že čisto náhodou vykáže „výraznú“ zmenu, pri kontrole 30 ukazovateľov môžete čakať jeden či dva zdanlivo pozoruhodné výsledky, aj keď sa v skutočnosti nič nestalo. Štatistici tomu hovoria problém viacnásobného porovnávania: čím viac otázok položíte tým istým údajom, tým viac odpovedí získate len vďaka náhode.
Príklady klamu texaského ostreľovača
S väčšinou týchto situácií ste sa už stretli. V každej sa vzorec objavil až pri prezeraní výsledkov, no následne sa prezentoval, akoby bol cieľom od začiatku.
| Kde | Čo hovorí ostreľovač | Dodatočne namaľovaný terč | Čo zostalo bokom |
|---|---|---|---|
| Pracovný prehľad | „Nový nástroj zlepšil tri kľúčové ukazovatele!“ | Tri ukazovatele vybrané až po získaní výsledkov | Ďalších 27 ukazovateľov, ktoré sa nezmenili alebo zhoršili |
| Výživové doplnky | „Naša štúdia zistila, že zlepšuje kvalitu spánku.“ | Jeden z mnohých sledovaných výsledkov | Ostatné výsledky, pri ktorých sa nič nepreukázalo |
| Predpovede | „Tento komentátor to vedel: päť predpovedí mu vyšlo!“ | Päť úspešných predpovedí vybraných spätne | Pätnásť predpovedí, ktoré nevyšli |
| Investovanie | „Táto stratégia by vám od roku 2015 strojnásobila peniaze.“ | Pravidlo upravené tak, aby sedelo na minulé ceny | Stovky pravidiel, ktoré sa otestovali a zahodili |
Žiadny z týchto vzorcov nemusí byť nepravdivý. Klam spočíva v tom, že vzorec objavený až spätne považujete za potvrdený.
Zhluky prípadov rakoviny: keď ide o veľa
Nie je to len štatistická hádanka. Keď sa v nejakej komunite objaví zdanlivý zhluk prípadov rakoviny, ľudia majú strach a zaslúžia si dôkladnú odpoveď.
Podľa amerického Národného onkologického ústavu (NCI) je zhluk prípadov rakoviny vyšší než očakávaný počet ochorení v určitej skupine ľudí, na vymedzenom území a počas konkrétneho obdobia. NCI zároveň upozorňuje, že rakovina je častá, a preto môžu prípady vyzerať ako zhluk, aj keď medzi nimi nie je súvislosť. Cituje prehľad Goodmana a kolegov z roku 2012, ktorý skúmal 576 vyšetrovaní takýchto zhlukov za 20 rokov. Zvýšený výskyt rakoviny sa podarilo potvrdiť iba v 72 prípadoch. Len v 3 z nich sa zistila možná súvislosť s vystavením určitému vplyvu a iba v jednom sa podarilo určiť jasnú príčinu.
To neznamená, že obavy susedov sú nezmyselné alebo že príčiny v životnom prostredí nikdy neexistujú. Znamená to, že samotný zhluk je otázka, nie odpoveď. Príčinu treba overiť, nie vyčítať z mapy.
Klam texaského ostreľovača, vyberanie dôkazov a súvisiace chyby
Tento klam má blízkych príbuzných. Často sa objavujú spolu, no oplatí sa ich rozlišovať, pretože pri každom pomáha iná otázka.
| Chyba | Čo sa deje | Otázka, ktorá ju odhalí |
|---|---|---|
| Klam texaského ostreľovača | Vo výsledkoch sa nájde vzorec a potom sa prezentuje ako pôvodný cieľ | „Predpovedali sme to ešte pred získaním údajov?“ |
| Selektívne vyberanie dôkazov | Na podporu vopred vytvoreného tvrdenia sa ukážu len vyhovujúce dôkazy a zvyšok sa skryje | „Môžeme vidieť všetky dôkazy?“ |
| Konfirmačné skreslenie | Všímate si a pamätáte najmä to, čo zapadá do vášho presvedčenia | „Čo by som očakával, keby som sa mýlil?“ |
| Klam post hoc | Po A nasledovalo B, takže A muselo spôsobiť B | „Čo ďalšie sa v tom čase zmenilo?“ |
| Skreslenie preživších | Vidíte len prípady, ktoré prešli výberom | „Kto na tomto obrázku chýba?“ |
| Unáhlené zovšeobecnenie | Z niekoľkých prípadov sa vyvodí všeobecné pravidlo | „Z koľkých prípadov to vychádza?“ |
| Ilúzia zhlukovania | Náhodné zhluky vyzerajú, akoby museli niečo znamenať | „Ako by takéto zhluky vyzerali pri čistej náhode?“ |
Najjednoduchšie ich odlíšite podľa poradia. Pri selektívnom vyberaní dôkazov máte najprv terč a hľadáte zásahy, ktoré ho podporia. Pri klame texaského ostreľovača máte najprv zásahy a terč dokreslíte podľa nich. V praxi sa tieto postupy často prelínajú.
Kedy je hľadanie vzorcov po získaní údajov v poriadku
Tu je vec, ktorú mnohé vysvetlenia vynechávajú. Hľadať vzorce v už získaných údajoch nie je hriech. Takto sa začína mnoho objavov. Chybou je preskočiť ďalší krok.
Vzorec, ktorý objavíte pri skúmaní údajov, je hypotéza. Zistením sa stane až po overení na údajoch, ktoré ste nepoužili na jeho objavenie. Vo výskume má predstieranie, že spätne nájdený vzorec bol od začiatku plánovanou predpoveďou, vlastný názov: sociálny psychológ Norbert Kerr ho v článku z roku 1998 nazval HARKing, skratkou anglického „hypothesizing after the results are known“, teda vytváranie hypotéz po tom, čo sú známe výsledky. Kerr netvrdil, že skúmanie údajov je zlé. Upozornil, že vydávať prieskumné zistenie za potvrdenú predpoveď zavádza čitateľov.
| Poctivé skúmanie | Klam texaského ostreľovača |
|---|---|
| „Všimli sme si, že požiadavky týkajúce sa fakturácie riešime rýchlejšie. Overme, či to vydrží.“ | „Požiadavky týkajúce sa fakturácie riešime rýchlejšie. Nástroj funguje.“ |
| Uvádza, koľko vecí sa kontrolovalo | Spomína iba úspechy |
| Overuje výsledok na nových údajoch | Na nájdenie aj potvrdenie vzorca používa tie isté údaje |
| Prijme, ak sa vzorec prestane objavovať | Keď starý vzorec zmizne, nájde si nový |
Keď sa vzorec texaského ostreľovača pri ďalšom overení nepotvrdí, málokedy povie: „Mýlil som sa.“ Nájde na stodole iný zhluk zásahov. To už pripomína posúvanie cieľovej čiary.
Ako ho rozpoznať: päť otázok
Na odhalenie dodatočne namaľovaného terča nepotrebujete študovať štatistiku. Väčšinu práce urobí týchto päť otázok.
1. Kedy vznikol terč?
„Povedal niekto ešte pred výsledkami, že budeme sledovať práve toto?“ Ak bolo tvrdenie vopred zapísané, zásah má väčšiu váhu. Ak nie, je to podnet na ďalšie skúmanie, nie dôkaz.
2. Na koľkých miestach sa hľadalo?
„Koľko ukazovateľov, skupín alebo období sme skontrolovali?“ Jeden zásah z jedného pokusu je pôsobivý. Jeden z tridsiatich môže priniesť aj náhoda.
3. Kde sú ostatné zásahy?
„A čo ukazovatele, ktoré sa nezmenili?“ Najviac vám pomôže vidieť celú stenu stodoly.
4. Nie je skupina podozrivo úzka?
„Francúzsky hovoriaci zákazníci na mobile počas prvých dvoch týždňov“ by mali vzbudiť pozornosť. Čím viac podmienok vzorec potrebuje, tým pravdepodobnejšie vznikol výberom z náhodného šumu.
5. Potvrdí sa aj na nových údajoch?
Toto je rozhodujúca otázka. Overte vzorec tam, kde nebol objavený: v nasledujúcom mesiaci, na inom pracovisku alebo na inej vzorke. Skutočný vzorec sa zvykne opakovať. Dodatočne namaľovaný väčšinou vybledne.
Ako reagovať bez zbytočnej hádky
Povedať „to je klam texaského ostreľovača“ môže byť presné, ale málokedy to pomôže. Druhý človek v tom počuje obvinenie z podvádzania a začne sa brániť. Radšej k výsledku pristupujte ako k sľubnému podnetu.
Pomáha jednoduchý postup: uznajte zistenie, opýtajte sa na ostatné výsledky, navrhnite overenie.
| Čo počujete | Čo môžete povedať |
|---|---|
| „Pozri, tri ukazovatele sa zlepšili!“ | „To znie dobre. Koľko sme ich sledovali celkovo? Rád by som videl aj tie, ktoré sa nezmenili.“ |
| „Údaje jasne ukazujú, že táto skupina reaguje najlepšie.“ | „Zaujímavé. Plánovali sme sledovať práve túto skupinu, alebo vynikla až vo výsledkoch?“ |
| „Na našej ulici je chorých toľko ľudí. Musí za tým byť niečo miestne.“ | „Stojí za to nahlásiť to príslušnému úradu verejného zdravotníctva. Dokáže preveriť, či ide o viac, než by sme čakali náhodou.“ |
| „Test na historických dátach ukazuje, že táto stratégia prekonáva trh.“ | „Koľko stratégií ste vyskúšali pred touto? A ako sa jej darilo odvtedy, čo ste ju vybrali?“ |
Pri človeku, s ktorým budete spolupracovať aj zajtra, je tretí krok najdôležitejší. „Poďme to poriadne overiť“ mu dáva možnosť skutočne potvrdiť, že mal pravdu.
Príklad v praxi: Sigrid a AI asistent
Sigrid Darraghovi nepovedala, že jeho prezentácia obsahuje logický klam. Povedala: „Niektoré z týchto výsledkov môžu byť skutočné. Ak sú, chcem to vedieť. Môžeme spustiť druhú fázu a vopred si určiť, čo budeme považovať za úspech?“
Pred začiatkom druhej fázy sa dohodli na krátkom pláne:
| Otázka | Na čom sa dohodli |
|---|---|
| Čo má asistent zmeniť? | Čas do prvej odpovede a počet požiadaviek vyriešených bez človeka |
| Čo sa bude považovať za úspech? | Jednoznačné zlepšenie oboch ukazovateľov počas štyroch týždňov |
| Čo sa bude považovať za neúspech? | Žiadna zmena alebo celkové zhoršenie spokojnosti |
| Čo s tromi pôvodnými úspechmi? | Budú sa sledovať ako hypotézy: ak sú skutočné, mali by sa zopakovať |
| Čo sa odprezentuje? | Všetky ukazovatele v prehľade, nielen tie priaznivé |
Po štyroch týždňoch boli výsledky zmiešané. Pri požiadavkách týkajúcich sa fakturácie prišla prvá odpoveď rýchlejšie a častejšie sa vyriešili bez človeka. Tento skorší úspech bol teda skutočný. Ostatné požiadavky sa nezmenili. Nárast spokojnosti francúzsky hovoriacich zákazníkov aj pokles opakovaných kontaktov vo štvrtok zmizli, ako sa pri náhodných výkyvoch často stáva.
Firma si asistenta nechala na požiadavky týkajúce sa fakturácie a pri ostatných ho prestala používať. Darragh získal výsledok, ktorý vedel obhájiť pred kýmkoľvek.
Ako si tento klam všimnúť vo vlastnom uvažovaní
Terče si dokresľujeme všetci. Máme pocit, že si len niečo všímame, nie že zavádzame.
- Najprv si zapíšte predpoveď. Skôr než si pozriete výsledky testu, spustenia novinky alebo nového návyku, napíšte jednu vetu: „Ak to funguje, očakávam X.“ Zaberie to tridsať sekúnd.
- Spočítajte svoje výstrely. Keď vás niečo zaujme, spýtajte sa, koľko ďalších vecí ste preskúmali. Počet si neprikrášľujte.
- Ukážte aj neúspechy. Keď sa pochválite úspechom, spomeňte aj to, čo sa nezmenilo. Ľudia budú vašim úspechom viac dôverovať.
- Dajte si pozor na príliš dokonalé príbehy. Ak vzorec presne zodpovedá tomu, v čo ste dúfali, preskúmajte ho obzvlášť dôkladne.
Ako si to precvičiť pomocou AI
Dodatočne namaľovaný terč sa rozpoznáva ťažšie, keď máte pred sebou prezentáciu a nadšeného rečníka. V debate si môžete otázky nacvičiť vopred. Na Debatly sa o vašej otázke počas niekoľkých kôl sporia viaceré AI modely a postavy. Kedykoľvek môžete vstúpiť do diskusie a rozhodca na záver vynesie zdôvodnený verdikt.
- Predložte vzorec na posúdenie. Do debatnej miestnosti napíšte tvrdenie, s ktorým ste sa stretli, napríklad: „Naše nové uvítacie e-maily zvýšili mieru udržania zákazníkov, ktorí sa zaregistrovali cez víkend.“ Jednu stranu požiadajte, aby ho obhájila, druhú, aby preskúmala, ako sa na tento výsledok prišlo.
- Prizvite odborníčku na dáta. Opýtajte sa Sofie, dátovej vedkyne, koľko porovnaní mohlo prebehnúť a ako by vyzeral férový test. Pomôže vám premeniť zaujímavý podnet na plán.
- Požiadajte skeptika o prehliadnuté výsledky. Nech Viktor, skeptik, vymenuje, čo tvrdenie vynecháva: ďalšie ukazovatele, skupiny či obdobia.
- Prečítajte si verdikt. Rozhodca Alex vysvetlí, ktoré argumenty v debate prevážili. Všímajte si, či mala víťazná strana predpoveď stanovenú vopred, alebo len dobre vyzerajúci zhluk.
Keď Sigrid vložila Darraghovu prezentáciu do debaty, strana, ktorá tvrdenie spochybňovala, sa už v prvom kole opýtala, koľko ukazovateľov prehľad sleduje. Na poradu tak prišla pripravená položiť tú istú otázku citlivo.
Poctivé upozornenie
AI modely nevidia vaše údaje a nedokážu určiť, či je vzorec skutočný. To dokáže až overenie na nových údajoch. Navyše vedia ku každému predloženému vzorcu vymyslieť vierohodný príbeh, čo je len nová podoba ostreľovačovho štetca. Mnohé modely tiež prikyvujú tomu, čomu podľa nich už veríte (pozrite si, prečo s vami AI súhlasí). Debatu použite na spresnenie otázok a návrh testu. Odpoveď musia stále priniesť údaje.
Najprv nakreslite terč
Klam texaského ostreľovača robí z náhodne objaveného vzorca zdanlivo splnenú predpoveď. Riešenie je jednoduché: ešte pred pohľadom na výsledky si určte cieľ, započítajte každý pokus a overte, či sa vzorec objaví aj v nových údajoch.
Keď vám tento týždeň niekto ukáže pôsobivý výsledok, položte jednu otázku: „Hľadali sme práve toto už predtým, než sme sa pozreli na výsledky?“ Ak máte vzorec, ktorý vás nadchol, otvorte o ňom debatu na Debatly a nechajte druhú stranu najprv hľadať, čo zostalo bokom. Vyskúšajte to. Plány nájdete na stránke s cenami.
“Klam texaského ostreľovača: príklady a ako ho rozpoznať”