Sigrid kieruje zespołem obsługi klienta w firmie tworzącej oprogramowanie księgowe. Przez sześć tygodni jej zespół testował asystenta AI, który odpowiada na proste zgłoszenia, zanim zajmie się nimi człowiek. Na spotkaniu podsumowującym Darragh, menedżer produktu, który zabiegał o wdrożenie, zaczyna od slajdu.
„Trzy sukcesy”, mówi. „Wzrosło zadowolenie klientów francuskojęzycznych. W czwartki rzadziej kontaktują się z nami ponownie. A zgłoszenia dotyczące rozliczeń zamykamy o jedenaście procent szybciej. Asystent działa”.
Sigrid zerka na panel wyników obsługi klienta na swoim laptopie. Widzi na nim około trzydziestu wskaźników. Większość się nie zmieniła. Dwa nieco się pogorszyły. Trzy sukcesy Darragha opierają się na prawdziwych liczbach, ale przed testem nikt nie ustalił, że asystent ma poprawić akurat zadowolenie klientów francuskojęzycznych albo liczbę ponownych kontaktów w czwartki.
Darragh nie skłamał. Najpierw strzelił do stodoły, a potem namalował tarczę wokół dziur po kulach. To właśnie błąd teksańskiego strzelca. W tym artykule wyjaśniamy, na czym polega, dlaczego jest tak przekonujący, gdzie się pojawia i jak odróżnić prawdziwy wzorzec od dorysowanej tarczy.
Czym jest błąd teksańskiego strzelca?
Błąd teksańskiego strzelca polega na tym, że po obejrzeniu wyników wyłapujesz wzorzec w danych, a następnie przedstawiasz go jako istotne odkrycie lub coś, co od początku było przewidywane. Skupiasz się na skupisku trafień, ignorując pudła wokół niego. Tych samych danych używasz dwa razy: najpierw do znalezienia wzorca, a potem do jego „potwierdzenia”.
Nazwa pochodzi ze starego dowcipu. Mężczyzna strzela do ściany stodoły, po czym podchodzi i maluje tarczę wokół najgęstszego skupiska dziur. Każdy, kto później zobaczy stodołę, uzna go za znakomitego strzelca.
Ten błąd zdradzają trzy cechy:
- Tarcza pojawiła się po strzałach. Teza powstała po obejrzeniu wyników, a nie przedtem.
- Było wiele miejsc, w których można było szukać. Wzorzec mógł się pojawić wśród wielu wskaźników, grup, dat lub lokalizacji.
- Pudła pominięto. Nikt nie wspomina o dwudziestu siedmiu wskaźnikach, które się nie poprawiły.
To pozycja 21 w naszym przewodniku po błędach logicznych. Tutaj przyglądamy się jej bliżej, bo najtrudniej zauważyć ten błąd wtedy, gdy sami trzymamy pędzel.
Skąd wzięła się nazwa?
Nie wiadomo, kto pierwszy opowiedział ten dowcip. Jedno z najwcześniejszych znanych użyć w druku pochodzi z artykułu o chorobie Hodgkina, opublikowanego w 1977 roku w czasopiśmie medycznym Cancer. Jego autor, epidemiolog Seymour Grufferman, pisał o skupiskach zachorowań wskazanych po fakcie. Zauważył, że takie skupiska przypominają historię teksańskiego strzelca i nie pozwalają stwierdzić, czy są czymś więcej niż dziełem przypadku.
Właśnie w epidemiologii ta idea znalazła szczególnie ważne zastosowanie. Pierwsze pytanie dotyczące każdego skupiska brzmi: czy byłoby zaskakujące, gdyby nie działo się nic niezwykłego?
Dlaczego losowe dane wyglądają jak wzorzec?
Oto coś, co zaskakuje wiele osób: losowość tworzy skupiska. Gdy rozrzucisz coś przypadkowo, nie rozłoży się to idealnie równomiernie. W jednych miejscach pojawi się kilka trafień, w innych żadne. Nasz mózg odczytuje takie skupiska jako sygnał.
Dobry przykład pochodzi z Londynu w czasie drugiej wojny światowej. Podczas ataków z użyciem bomb latających ludzie często twierdzili, że bomby spadają grupami. W 1946 roku aktuariusz R. D. Clarke opublikował w Journal of the Institute of Actuaries krótki artykuł, w którym sprawdził to przekonanie.
Podzielił 144 kilometry kwadratowe południowego Londynu na 576 kwadratów o powierzchni ćwierć kilometra kwadratowego każdy i policzył trafienia. Na tym obszarze spadło 537 bomb. Gdyby spadały całkowicie losowo, statystyka przewidywała około 227 kwadratów bez trafienia i około 7 kwadratów z czterema trafieniami. Rzeczywiste liczby wyniosły 229 i 7. Również pozostałe wyniki były bliskie przewidywaniom. Jak podsumował Clarke, rezultat nie potwierdzał hipotezy o grupowaniu się trafień.
Niektóre kwadraty naprawdę zostały trafione cztery lub pięć razy. Tyle że właśnie takich wyników można oczekiwać od przypadku. Znaczenie dopisano później.
Szukaj w wystarczająco wielu miejscach, a coś się znajdzie
Drugi powód skuteczności tego błędu to prosta arytmetyka. Jeśli każdy wskaźnik w panelu wyników ma jedną szansę na dwadzieścia, by przez przypadek pokazać „istotną” zmianę, a sprawdzisz 30 wskaźników, możesz oczekiwać jednego lub dwóch pozornie istotnych wyników, nawet gdy w rzeczywistości nic się nie zmieniło. Statystycy nazywają to problemem wielokrotnych porównań: im więcej pytań zadajesz tym samym danym, tym więcej odpowiedzi dostajesz przez przypadek.
Przykłady błędu teksańskiego strzelca
Większość z tych sytuacji pewnie znasz. W każdej wzorzec odkryto dopiero po obejrzeniu wyników, a następnie przedstawiono tak, jakby ktoś od początku w niego celował.
| Sytuacja | Co mówi „strzelec” | Dorysowana tarcza | Pominięte pudła |
|---|---|---|---|
| Panel wyników w pracy | „Nowe narzędzie poprawiło trzy kluczowe wskaźniki!” | Trzy wskaźniki wybrane po poznaniu wyników | Pozostałe 27 wskaźników, które się nie zmieniły lub pogorszyły |
| Suplementy | „Nasze badanie wykazało poprawę jakości snu”. | Jeden z wielu mierzonych wyników | Pozostałe wyniki, w których nie widać poprawy |
| Prognozy | „Ten komentator miał rację: sprawdziło się pięć jego prognoz!” | Pięć trafień wybranych po fakcie | Piętnaście nietrafionych prognoz |
| Inwestowanie | „Od 2015 roku ta strategia potroiłaby twój kapitał”. | Reguła dopasowana do historycznych cen | Setki przetestowanych i odrzuconych reguł |
Żaden z tych wzorców nie musi być fałszywy. Błąd polega na traktowaniu wzorca znalezionego po fakcie tak, jakby został już potwierdzony.
Skupiska zachorowań na raka: gdy stawka jest wysoka
To nie tylko łamigłówka dla statystyków. Gdy mieszkańcy dostrzegają w swojej okolicy pozorne skupisko zachorowań na raka, boją się i zasługują na rzetelną odpowiedź.
Według amerykańskiego National Cancer Institute (NCI) o skupisku zachorowań na raka mówimy wtedy, gdy w określonej grupie ludzi, na określonym obszarze i w określonym czasie występuje więcej przypadków, niż można by oczekiwać. NCI zaznacza też, że ponieważ nowotwory są częste, przypadki mogą sprawiać wrażenie skupionych, nawet jeśli nic ich nie łączy. Instytut przywołuje przegląd Goodman i współpracowników z 2012 roku, obejmujący 576 dochodzeń dotyczących takich skupisk, przeprowadzonych w ciągu 20 lat. Tylko w 72 udało się potwierdzić podwyższoną liczbę zachorowań. Zaledwie 3 z nich można było powiązać z możliwym narażeniem na szkodliwy czynnik, a tylko w jednym ustalono wyraźną przyczynę.
Nie oznacza to, że zaniepokojeni mieszkańcy przesadzają albo że czynniki środowiskowe nigdy nie są przyczyną chorób. Samo skupisko jest pytaniem, nie odpowiedzią. Przyczynę trzeba zbadać, a nie wyczytać z mapy.
Błąd teksańskiego strzelca a wybiórcze dobieranie danych i podobne błędy
Błąd teksańskiego strzelca ma bliskich krewnych. Często występują razem, ale warto je rozróżniać, bo każdy wymaga innego pytania.
| Błąd | Co się dzieje | Pytanie, które pomaga go wychwycić |
|---|---|---|
| Błąd teksańskiego strzelca | Wzorzec zostaje znaleziony w wynikach, a potem przedstawiony jako pierwotny cel | „Czy przewidziano to przed zebraniem danych?” |
| Wybiórcze dobieranie danych | Pokazuje się tylko dowody na poparcie wcześniej postawionej tezy, a resztę ukrywa | „Czy możemy zobaczyć wszystkie dane?” |
| Efekt potwierdzenia | Zauważasz i zapamiętujesz to, co pasuje do twoich przekonań | „Czego spodziewałbym się, gdybym się mylił?” |
| Błąd post hoc | B nastąpiło po A, więc A musiało spowodować B | „Co jeszcze zmieniło się w tym samym czasie?” |
| Błąd przeżywalności | Widzisz tylko przypadki, które przetrwały selekcję | „Kogo brakuje na tym obrazku?” |
| Pochopne uogólnienie | Na podstawie kilku przypadków formułujesz ogólną regułę | „Na ilu przypadkach opiera się ten wniosek?” |
| Iluzja grupowania | Przypadkowe skupiska wydają się znaczące | „Jak często tak wyglądałoby to przez czysty przypadek?” |
Najłatwiej odróżnić błąd teksańskiego strzelca od wybiórczego dobierania danych, pytając o kolejność. Kto dobiera dane wybiórczo, najpierw ma tarczę, a potem szuka trafień, które do niej pasują. Teksański strzelec najpierw widzi dziury po kulach, a dopiero potem dopasowuje do nich tarczę. W praktyce te dwa błędy często się przenikają.
Kiedy wzorzec odkryty po fakcie jest w porządku?
W wielu wyjaśnieniach pomija się ważną rzecz: szukanie wzorców w już zebranych danych nie jest niczym złym. Tak zaczyna się wiele odkryć. Błędem jest pominięcie kolejnego kroku.
Wzorzec zauważony podczas przeglądania danych to hipoteza. Staje się ustaleniem dopiero wtedy, gdy sprawdzisz go na danych, których nie użyto do jego znalezienia. W badaniach przedstawianie wzorca odkrytego po fakcie tak, jakby od początku był częścią planu, ma nawet własną nazwę: HARKing. Termin ten, od angielskiego „hypothesizing after the results are known”, czyli formułowania hipotez po poznaniu wyników, wprowadził psycholog społeczny Norbert Kerr w artykule z 1998 roku. Kerr nie twierdził, że eksplorowanie danych jest złe. Zwracał uwagę, że przedstawianie takiej eksploracji jako potwierdzenia wcześniejszej prognozy wprowadza czytelników w błąd.
| Uczciwa eksploracja | Błąd teksańskiego strzelca |
|---|---|
| „Zauważyliśmy, że szybciej obsługujemy zgłoszenia dotyczące rozliczeń. Sprawdźmy, czy ten efekt się utrzyma”. | „Szybciej obsługujemy zgłoszenia dotyczące rozliczeń. Narzędzie działa”. |
| Mówi, ile rzeczy sprawdzono | Wspomina tylko o trafieniach |
| Sprawdza wzorzec na nowych danych | Tymi samymi danymi znajduje wzorzec i próbuje go dowieść |
| Przyjmuje do wiadomości, jeśli wzorzec znika | Gdy wzorzec znika, znajduje inny |
Gdy wzorzec teksańskiego strzelca nie wytrzymuje próby, rzadko słyszymy: „Myliłem się”. Zamiast tego znajduje on inne skupisko dziur na ścianie stodoły. To bliski krewny przesuwania bramki.
Jak rozpoznać błąd teksańskiego strzelca? Pięć pytań
Nie potrzebujesz wykształcenia statystycznego, żeby dostrzec dorysowaną tarczę. Wystarczy pięć pytań.
1. Kiedy narysowano tarczę?
„Czy przed poznaniem wyników ktokolwiek powiedział, że właśnie tego będziemy szukać?” Jeśli tezę zapisano wcześniej, trafienie ma znaczenie. Jeśli nie, to wskazówka do dalszych badań, a nie dowód.
2. W ilu miejscach można było szukać?
„Ile wskaźników, grup lub okresów sprawdziliśmy?” Jedno trafienie przy jednej próbie robi wrażenie. Jedno trafienie przy trzydziestu próbach może być zwykłym przypadkiem.
3. Gdzie są pudła?
„A co z wynikami, które się nie zmieniły?” Poproś o pokazanie całej ściany stodoły, nie tylko tarczy.
4. Czy grupa jest podejrzanie wąska?
„Klienci francuskojęzyczni korzystający z telefonu w pierwszych dwóch tygodniach” to sygnał ostrzegawczy. Im więcej warunków trzeba dodać, żeby wzorzec się pojawił, tym większa szansa, że wyłowiono go z przypadkowego szumu.
5. Czy wzorzec powtarza się w nowych danych?
To pytanie rozstrzygające. Sprawdź wzorzec tam, gdzie go nie odkryto: w kolejnym miesiącu, innym biurze lub innej próbie. Prawdziwa zależność zwykle się powtarza. Dorysowana tarcza najczęściej znika.
Jak zareagować, żeby nie wywołać kłótni?
Stwierdzenie „To błąd teksańskiego strzelca” może być trafne, ale rzadko pomaga. Rozmówca słyszy „Oszukujesz” i zaczyna bronić swojego stanowiska. Lepiej potraktować wzorzec jako obiecującą wskazówkę.
Prosty schemat: doceń odkrycie, zapytaj o pudła, zaproponuj test.
| Co słyszysz | Co możesz powiedzieć |
|---|---|
| „Zobacz, poprawiły się trzy wskaźniki!” | „Świetnie. Ile wskaźników śledziliśmy łącznie? Chętnie zobaczę też te, które się nie zmieniły”. |
| „Dane jasno pokazują, że ta grupa reaguje najlepiej”. | „Ciekawe. Czy od początku planowaliśmy przyjrzeć się tej grupie, czy wyróżniła się dopiero po analizie?” |
| „Tyle osób na naszej ulicy choruje. To musi mieć związek z tym miejscem”. | „Warto zgłosić to do sanepidu. Może sprawdzić, czy tych przypadków jest więcej, niż należałoby oczekiwać przez przypadek”. |
| „Test na danych historycznych pokazuje, że ta strategia wygrywa z rynkiem”. | „Ile strategii przetestowano, zanim wybrano tę? Jak radzi sobie od momentu wyboru?” |
Jeśli jutro znów spotkasz tę osobę, ostatni krok jest szczególnie ważny. „Sprawdźmy to porządnie” daje jej szansę naprawdę udowodnić, że miała rację.
Przykład krok po kroku: Sigrid i asystent AI
Sigrid nie powiedziała Darraghowi, że jego slajd zawiera błąd logiczny. Powiedziała: „Niektóre z tych wyników mogą być rzeczywiste, a jeśli tak, chcę o tym wiedzieć. Zróbmy drugi etap testu i ustalmy z góry, co uznamy za sukces”.
Przed rozpoczęciem drugiego etapu uzgodnili krótki plan:
| Pytanie | Co ustalili |
|---|---|
| Co asystent ma poprawić? | Czas do pierwszej odpowiedzi oraz liczbę zgłoszeń rozwiązanych bez udziału człowieka |
| Co będzie sukcesem? | Wyraźna poprawa obu wskaźników przez cztery tygodnie |
| Co będzie porażką? | Brak zmiany lub ogólny spadek zadowolenia klientów |
| Co z trzema wcześniejszymi sukcesami? | Będą śledzone jako hipotezy: jeśli są rzeczywiste, powinny pojawić się ponownie |
| Co trafi do raportu? | Wszystkie wskaźniki z panelu, nie tylko te korzystne |
Po czterech tygodniach wyniki były mieszane. W przypadku zgłoszeń dotyczących rozliczeń pierwsze odpowiedzi przychodziły szybciej i częściej udawało się rozwiązać sprawę bez udziału człowieka. Ten wczesny sukces okazał się więc rzeczywisty. Przy pozostałych zgłoszeniach nic się nie zmieniło. Wzrost zadowolenia klientów francuskojęzycznych i spadek liczby ponownych kontaktów w czwartki zniknęły, jak to zwykle bywa z przypadkowymi wahaniami.
Firma zachowała asystenta do obsługi zgłoszeń dotyczących rozliczeń, ale zrezygnowała z jego używania przy pozostałych. Darragh dostał wynik, którego mógł bronić przed każdym.
Jak wychwycić ten błąd we własnym myśleniu?
Każdy z nas czasem dorysowuje tarczę. Wydaje nam się, że coś dostrzegamy, a nie że naciągamy wyniki.
- Najpierw zapisz przewidywanie. Zanim sprawdzisz wyniki testu, wdrożenia lub nowego nawyku, napisz jedno zdanie: „Jeśli to działa, spodziewam się zobaczyć X”. Zajmie ci to pół minuty.
- Policz swoje strzały. Gdy coś przyciągnie twoją uwagę, zapytaj, ile innych rzeczy sprawdzono. Nie zaniżaj tej liczby.
- Pokaż też pudła. Gdy dzielisz się sukcesem, wspomnij, co się nie zmieniło. Dzięki temu ludzie bardziej zaufają twoim wnioskom.
- Uważaj na zbyt zgrabne historie. Jeśli wzorzec idealnie pasuje do tego, na co liczyłeś, właśnie wtedy przyjrzyj mu się najdokładniej.
Jak ćwiczyć rozpoznawanie tego błędu z AI?
Trudniej dostrzec dorysowaną tarczę, gdy widzisz slajd, a osoba prezentująca z entuzjazmem opowiada o wynikach. Debata z AI pozwala wcześniej przećwiczyć właściwe pytania. W Debatly kilka modeli i postaci AI przez kilka rund argumentuje z różnych stron w odpowiedzi na twoje pytanie. Możesz włączyć się w dowolnym momencie, a sędzia wydaje uzasadniony werdykt.
- Poddaj wzorzec próbie. Wpisz tezę, z którą się spotkałeś, w pokoju debat, na przykład: „Nasze nowe e-maile powitalne zwiększyły utrzymanie klientów, którzy zarejestrowali się w weekend”. Poproś jedną stronę o jej obronę, a drugą o sprawdzenie, jak znaleziono ten wynik.
- Zaproś osobę od danych. Zapytaj Sofię, specjalistkę od analizy danych, ile porównań mogło zostać wykonanych i jak wyglądałby uczciwy test. Pomoże zamienić wstępną obserwację w plan.
- Poproś sceptyka o wskazanie pudeł. Niech Viktor, sceptyk, wymieni to, co pomija teza: inne wskaźniki, grupy i okresy.
- Przeczytaj werdykt. Sędzia Alex wyjaśnia, które argumenty przeważyły. Sprawdź, czy zwycięska strona miała przewidywanie sformułowane z góry, czy tylko efektownie wyglądające skupisko wyników.
Kiedy Sigrid poddała slajd Darragha debacie, strona podważająca tezę już w pierwszej rundzie zapytała, ile wskaźników śledzi panel wyników. Dzięki temu Sigrid poszła na spotkanie, wiedząc, jak zadać to pytanie bez stawiania nikogo pod ścianą.
Ważne ograniczenie
Modele AI nie widzą twoich danych i nie mogą stwierdzić, czy wzorzec jest rzeczywisty. To można sprawdzić tylko na nowych danych. Potrafią też wymyślić wiarygodnie brzmiącą historię do dowolnego wzorca, który im pokażesz. To pędzel teksańskiego strzelca w nowej postaci. Wiele modeli ma ponadto skłonność do przytakiwania temu, w co zdajesz się już wierzyć (zobacz dlaczego AI ci przytakuje). Wykorzystaj debatę do dopracowania pytań i zaplanowania testu. Odpowiedź nadal musi pochodzić z danych.
Najpierw narysuj tarczę
Błąd teksańskiego strzelca sprawia, że wzorzec znaleziony przypadkiem wygląda jak spełniona prognoza. Rozwiązanie jest proste: ustal, w co celujesz, zanim obejrzysz wyniki, policz wszystkie strzały i sprawdź, czy wzorzec powtarza się na nowych danych.
Gdy w tym tygodniu ktoś pokaże ci zaskakujący wynik, zadaj jedno pytanie: „Czy właśnie tego szukaliśmy, zanim zobaczyliśmy dane?” Jeśli jakiś wzorzec szczególnie cię przekonuje, poddaj go debacie w Debatly i pozwól drugiej stronie najpierw poszukać pudeł. Spróbuj. Dostępne plany znajdziesz na stronie z cennikiem.
“Błąd teksańskiego strzelca: przykłady i jak go rozpoznać”