Test Fishera i Wilcoxona - czy ta różnica jest istotna?

Wariant B strony zapisów: 11 zapisów z 40 wejść. Wariant A: 4 z 38. To 27,5 procent wobec 10,5 procent, czyli różnica 17 punktów procentowych i wynik prawie trzykrotnie lepszy. Ogłaszamy zwycięzcę?

Nie. p = 0,0844, a próg to 0,05. Brak podstaw do odrzucenia hipotezy zerowej.

I teraz rzecz, która brzmi jak sprzeczność. Tego samego dnia dziesięć osób napisało test wiedzy przed szkoleniem i po nim. Mediana poprawy: 3 punkty na sześćdziesiąt możliwych. Dziewięć osób w górę, jedna w dół. Wynik: p = 0,0049. Różnica istotna, i to z zapasem.

Siedemnaście punktów procentowych przy siedemdziesięciu ośmiu obserwacjach nie wystarczyło. Trzy punkty u dziesięciu osób wystarczyły. Poniżej jest rozpisane, dlaczego.

Skąd się bierze wartość 0,0844

Dokładny test Fishera nie szacuje niczego. On przelicza wszystkie możliwe układy tablicy przy zachowanych sumach brzegowych i sprawdza, jaka część z nich jest równie skrajna albo bardziej skrajna niż to, co zobaczyłeś.

W naszym przypadku sumy brzegowe są ustalone: 40 osób w wariancie B, 38 w wariancie A, łącznie 15 zapisów i 63 osoby bez zapisu. Przy takich brzegach istnieje dokładnie 16 możliwych tablic. Nie tysiące, nie miliony. Szesnaście.

Prawdopodobieństwo wylosowania dokładnie tego układu, gdyby wariant nie miał żadnego wpływu, wynosi 0,0391. Ale wartość p to nie jest prawdopodobieństwo samej tej tablicy. To suma prawdopodobieństw tej tablicy i wszystkich skrajniejszych, w obie strony, bo hipoteza była dwustronna. Stąd 0,0844.

Iloraz szans wychodzi 3,22. Szanse na zapis w wariancie B są ponad trzy razy wyższe. Kalkulator kwalifikuje tę przesłankę jako słabą i dopisuje krótki komentarz: sygnał na granicy, często znika przy powtórzeniu.

Warto się przy tym zdaniu zatrzymać, bo ono opisuje mechanizm, który wykłada połowę testów A/B w małych firmach. Przy 78 obserwacjach nawet spora różnica odsetków mieści się jeszcze w wahaniach losowych. Zabrakło nie efektu, tylko danych.

Dziesięć par kontra siedemdziesiąt osiem obserwacji

Teraz druga strona. Dane z testu wiedzy, ci sami ludzie mierzeni dwa razy.

Test kolejności par Wilcoxona nie patrzy na średnie. On liczy różnice w każdej parze, porządkuje je co do wielkości bez względu na znak, przypisuje rangi i sumuje osobno rangi par, w których wartość wzrosła, i tych, w których spadła.

Suma rang dodatnich: 52,5. Suma rang ujemnych: 2,5. Statystyka testowa to mniejsza z tych dwóch, czyli W = 2,5, przy wartości oczekiwanej 27,5 w sytuacji, gdyby szkolenie nic nie dawało.

Zauważ rangi 2,5 powtórzone cztery razy. Cztery pary mają różnicę o tej samej wartości bezwzględnej, więc dzielą się rangami od pierwszej do czwartej po równo. To są wiązania, w tych danych trzy grupy o rozmiarach 4, 2 i 2, i one obniżają wariancję statystyki.

Kalkulator nie idzie tu na skróty z przybliżeniem normalnym. Przy dziesięciu parach możliwych układów znaków jest 2 do potęgi 10, czyli 1024, więc liczy rozkład dokładny przez przejrzenie wszystkich. Wartość z = 2,568 podaje obok, jako liczbę pomocniczą do porównań, nie jako podstawę werdyktu.

Wielkość efektu r = 0,57 to duży efekt. Mediana różnic 3,00 punktu mówi, ile poprawiła się typowa osoba. Nie średnia, właśnie mediana, bo test operuje na rangach. Jeśli chcesz zobaczyć, czym mediana różni się od średniej na tych samych liczbach, jest do tego osobny kalkulator mediany i kalkulator średniej.

A co jeśli zmienisz jeden parametr?

Tu robi się ciekawie, bo werdykt bywa mniej stabilny, niż się wydaje po samym słowie "istotny".

A co jeśli zadeklarujesz kierunek z góry?

Ten sam test Fishera, ta sama tablica, ale hipoteza jednostronna zamiast dwustronnej: p = 0,0520 zamiast 0,0844. Prawie połowa. I prawie, ale tylko prawie, poniżej progu.

Wolno tak zrobić wyłącznie wtedy, gdy kierunek zapisałeś przed zebraniem danych. Wybranie jednostronnej po zobaczeniu wyniku, bo dwustronna nie wyszła, to nie jest analiza, tylko naciąganie. A i tak by nie pomogło, bo 0,0520 dalej jest powyżej 0,05.

A co jeśli zapisze się jedna osoba więcej?

Tablica 12 zapisów z 40 wobec 4 z 38. Jeden człowiek różnicy.

p = 0,0489. Wynik istotny.

Jedna osoba przesuwa werdykt z "brak podstaw" na "różnica istotna". Iloraz szans rośnie z 3,22 do 3,64, różnica odsetków z 17,0 na 19,5 punktu procentowego, a siła przesłanki z określenia "słaby" na "umiarkowany, różnica widoczna, ale warto powtórzyć badanie". To jest najlepszy możliwy argument przeciwko traktowaniu progu 0,05 jak granicy między prawdą a fałszem.

A co jeśli zbierzesz dwa razy więcej danych?

Zostawiamy odsetki bez zmian, 27,5 procent wobec 10,5 procent, i tylko podwajamy próbę do 156 obserwacji.

p = 0,0083. Różnica istotna, przesłanka silna, "różnica dobrze udokumentowana danymi". Liczba możliwych tablic rośnie z 16 do 31.

Przy potrojonej próbie, 234 obserwacje przy tych samych proporcjach, wychodzi p = 0,0014. Iloraz szans przez cały czas stoi na 3,22, bo efekt jest ten sam. Zmienia się wyłącznie pewność, z jaką da się go odróżnić od przypadku.

A co jeśli pomylisz tryb sparowany z niezależnym?

To jest błąd, który kosztuje najwięcej, więc sprawdziłam go na dokładnie tych samych dwudziestu liczbach z testu wiedzy. Zamiast trybu "te same obiekty przed i po" wybieramy "dwie różne grupy".

Te same liczby. Ta sama hipoteza. Wartość p skacze z 0,0049 na 0,8466, czyli ze zdecydowanie istotnej na zdecydowanie nieistotną.

Skąd taka przepaść? Bo tryb sparowany widzi, że osoba numer 1 poprawiła się z 42 na 47, a osoba numer 7 z 49 na 55. Tryb niezależny nie ma pojęcia, kto z kim jest w parze. Widzi dwa worki liczb, mediana 43,00 i 46,50, mocno na siebie zachodzące, i słusznie stwierdza, że tak rozłożone rangi zdarzają się na okrągło. Informacja o parowaniu jest tym, co daje temu testowi całą moc, a wybranie złego trybu wyrzuca ją do kosza.

A co jeśli hipoteza była dwustronna?

Test Wilcoxona na tych samych parach, tylko bez zakładania kierunku: p = 0,0098. Dokładnie dwa razy tyle co 0,0049.

Przy rozkładzie symetrycznym tak to właśnie działa, i dlatego jednostronna hipoteza jest w praktyce warta jednego "poziomu" istotności. Zapłacisz za nią jednak tym, że jeśli efekt pójdzie w drugą stronę, test go nie zobaczy. W tych danych p w stronę spadku wynosi 0,9990.

Który test do czego

Oba testy łączy to, że są nieparametryczne. Nie zakładają, że dane pochodzą z rozkładu normalnego, więc nie ma sensu liczyć wcześniej odchylenia standardowego po to, żeby zdecydować, czy wolno ich użyć. Wolno zawsze. Cenę płacisz gdzie indziej: przy dużych próbach i ładnie rozłożonych danych testy parametryczne wyłapią słabszy efekt przy tej samej liczbie obserwacji.

To co z tym zrobić

Wartość p nie jest wyrocznią i nie mierzy tego, jak duży jest efekt. Mierzy, jak trudno wytłumaczyć twoje dane samym przypadkiem. Iloraz szans 3,22 przy p równym 0,0844 opisuje efekt dokładnie tej samej wielkości co iloraz szans 3,22 przy p równym 0,0083 na podwojonej próbie. Zmieniła się wyłącznie pewność.

Praktyczny wniosek z tych dwóch przykładów jest taki, że przy małych liczebnościach warto podawać wynik razem z siłą efektu i liczebnością, a nie samo "istotne" albo "nieistotne". Test A/B na 78 wejściach nie rozstrzygnie różnicy siedemnastu punktów. Dziesięć par pomiarów tej samej osoby rozstrzygnie różnicę trzech punktów, bo parowanie usuwa z danych całą zmienność między ludźmi. A jeśli chcesz się przekonać, jak szybko rośnie liczba możliwych układów przy większych tablicach, jest do tego kalkulator prawdopodobieństwa.

Narzędzia omawiane w tym artykule

Kalkulator Testu Fishera - dokładny test dla tablicy 2x2 liczony z rozkładu hipergeometrycznego, bez przybliżeń asymptotycznych, więc wiarygodny także przy liczebnościach jednocyfrowych. Podaje wartość p dwustronną i obie jednostronne, iloraz szans z korektą przy zerze w tablicy, różnicę odsetków oraz liczbę możliwych układów tablicy przy zadanych sumach brzegowych.

Kalkulator Testu Wilcoxona - dwa tryby w jednym narzędziu: test kolejności par dla pomiarów powtórzonych i test sum rang Manna-Whitneya dla dwóch odrębnych grup. Liczy rozkład dokładny do 18 par i do grup 20 na 20 bez wiązań, dalej przechodzi na przybliżenie normalne z poprawką na ciągłość i na wiązania. Zwraca statystykę, wielkość efektu, medianę różnic i pełną tabelę rang.

Najczęstsze pytania

Kiedy stosować test Fishera zamiast chi-kwadrat?

Zawsze, gdy któraś z oczekiwanych liczebności w tablicy 2x2 jest mała, umownie poniżej pięciu. W naszym przykładzie przy 78 obserwacjach i 15 zdarzeniach ogółem test Fishera jest bezpieczniejszym wyborem, bo liczy wartość p dokładnie, przez przeliczenie wszystkich 16 możliwych tablic, a nie przez przybliżenie rozkładem ciągłym. Przy dużych i wyrównanych tablicach oba testy dają praktycznie ten sam wynik.

Czy p = 0,0844 oznacza, że wariant B nie działa?

Nie. Oznacza, że dane nie wystarczają, żeby to rozstrzygnąć. Iloraz szans wyszedł 3,22, czyli efekt jest tam widoczny, tylko przy 78 obserwacjach taki układ zdarza się przypadkiem częściej niż raz na dwadzieścia razy. Po podwojeniu próby przy tych samych proporcjach wartość p spada do 0,0083.

Ile par potrzeba do testu Wilcoxona?

Minimum sensowne to sześć par, bo przy pięciu najmniejsza możliwa wartość p jednostronna wynosi 1 podzielone przez 32, czyli 0,031, i wystarczy jedna para w drugą stronę, żeby zejście poniżej 0,05 stało się niemożliwe. W przykładzie z artykułu dziesięć par dało p równe 0,0049 przy dziewięciu zmianach w górę i jednej w dół.

Co to są wiązania rang i czy trzeba się nimi przejmować?

Wiązania to pary o identycznej wartości bezwzględnej różnicy, którym przypisuje się średnią rangę z zajmowanego przedziału. W danych z artykułu były trzy grupy wiązań o rozmiarach 4, 2 i 2, a cztery pary z różnicą 2 punktów dostały po 2,5 rangi. Wiązania obniżają wariancję statystyki, więc kalkulator koryguje o nie wynik automatycznie. Przejmować się nimi trzeba tylko wtedy, gdy dane są mocno zaokrąglone i wiązań jest bardzo dużo.

Czym różni się test kolejności par od testu Manna-Whitneya?

Pierwszy wymaga, żeby każda wartość z serii drugiej odpowiadała konkretnej wartości z serii pierwszej, czyli tego samego człowieka, zwierzęcia albo próbki mierzonych dwa razy. Drugi porównuje dwie odrębne grupy o dowolnych liczebnościach. Na tych samych dwudziestu liczbach tryb sparowany dał p równe 0,0049, a niezależny 0,8466, więc pomyłka w tym miejscu odwraca wniosek.

Czy wolno wybrać hipotezę jednostronną, żeby wynik wyszedł istotny?

Nie. Kierunek musi być ustalony przed zebraniem danych, bo hipoteza jednostronna daje mniej więcej połowę wartości dwustronnej i wybieranie jej po fakcie zawyża ryzyko fałszywego alarmu. W przykładzie z tablicą 2x2 dwustronna dała 0,0844, jednostronna 0,0520, więc i tak żadna nie zeszła poniżej progu.

Jak duży jest efekt r równy 0,57?

To efekt duży. Umowne progi dla r w testach rangowych to około 0,10 dla małego, 0,30 dla umiarkowanego i 0,50 dla dużego. Wartość 0,57 przy medianie różnic wynoszącej 3 punkty oznacza, że przesunięcie było spójne u prawie wszystkich badanych, a nie napędzone przez jedną albo dwie osoby.