Test z czy chi-kwadrat? Test A/B i wielkość próby

Test z czy chi-kwadrat? Który wybrać, kiedy masz dwie wersje strony, dwa odsetki konwersji i jedno pytanie: czy ta różnica jest prawdziwa?

Krótka odpowiedź zaskakuje. Przy zwykłym teście A/B, czyli tabeli 2 × 2, oba testy dają dokładnie tę samą wartość p. Nie podobną. Tę samą, co do czwartego miejsca po przecinku. Różnią się dopiero tym, co pokazują obok wyniku, i tym, z jakimi danymi sobie radzą, kiedy tabela przestaje być mała i kwadratowa. A trzecie pytanie, o które wszyscy się potykają, pada zwykle za późno: ile obserwacji trzeba zebrać, żeby którykolwiek z nich w ogóle coś wykrył.

Sprawdziłem to na jednym zestawie danych, wpisanym do trzech kalkulatorów. Wersja A: 200 zakupów na 4 000 wejść, czyli 5,00 %. Wersja B: 250 zakupów na 4 000 wejść, czyli 6,25 %. Różnica 1,25 punktu procentowego, a względnie +25 %.

Ta sama tabela, dwa testy: wynik obok siebie

Najpierw kalkulator testu z w trybie dwóch proporcji, hipoteza dwustronna, α = 0,05:

Wynik: z = 2,426, p = 0,0153. Poniżej progu 0,05, więc różnica jest istotna statystycznie.

Teraz te same liczby w kalkulatorze chi-kwadrat. Tu wpisuje się nie liczebności grup, tylko komórki tabeli: sukcesy i porażki. Wiersz A to 200 i 3 800, wiersz B to 250 i 3 750. Bez poprawki Yatesa.

χ² = 5,887, p = 0,0153. Identycznie.

Przypadek? Nie. Podnieś 2,426 do kwadratu, a wyjdzie 5,885. Brakująca dwutysięczna to tylko zaokrąglenie z do trzech miejsc po przecinku. Statystyka chi-kwadrat dla tabeli 2 × 2 bez poprawki to po prostu kwadrat statystyki z z testu dwóch proporcji, a rozkład chi-kwadrat z jednym stopniem swobody to kwadrat rozkładu normalnego. Dlatego wartość p musi wyjść ta sama. W wyniku kalkulatora chi-kwadrat widać to jeszcze raz: reszty skorygowane w czterech komórkach wynoszą ± 2,43, czyli dokładnie tyle, ile z.

Skoro liczba jest ta sama, to o co chodzi w wyborze? O wszystko, co jest dookoła tej liczby. Poniżej zestawienie, parametr po parametrze.

Zielone to przewaga, czerwone to brak. Na oko remis, tylko że każdy test wygrywa w innej sytuacji.

Kiedy wygrywa test z?

Gdy chcesz wiedzieć, o ile, a nie tylko czy

Wartość p mówi, jak trudno pogodzić dane z brakiem różnicy. Nie mówi, jak duża jest ta różnica. Test z podaje do tego przedział ufności 95 % dla różnicy B - A: od 0,24 do 2,26 pp. Na biznesowy język: wersja B podnosi konwersję gdzieś między ćwierć punktu a dwa punkty z kawałkiem. To bardzo szeroki przedział. Przy 10 000 wejść dziennie dolna granica to 24 zakupy więcej, górna 226. Kalkulator chi-kwadrat powie tylko, że zmienne nie są niezależne.

Swoją drogą, h Cohena 0,054 kalkulator opisuje jako efekt znikomy. W sklepie internetowym znikomy efekt statystyczny potrafi być całkiem przyzwoitym efektem finansowym, więc tej etykiety nie ma co czytać jak wyroku.

Gdy hipoteza ma kierunek

Jeśli przed testem zapisałeś, że interesuje cię tylko to, czy B jest lepsze, bo gorszej wersji i tak byś nie wdrożył, test prawostronny daje p = 0,0076. To połowa wartości dwustronnej. Chi-kwadrat nie ma takiej opcji, bo podnosi różnice do kwadratu i gubi znak.

Jest tu jedna pułapka. Kierunek ustala się przed zebraniem danych, nie po. Gdyby wpisać tę samą tabelę z hipotezą lewostronną („B gorsze”), wychodzi p = 0,9924, bo dane idą dokładnie w przeciwną stronę. Wybieranie kierunku po zobaczeniu wyniku to sposób na połowienie p bez żadnego uzasadnienia.

Gdy porównujesz jeden odsetek z wartością docelową

Przykład: w ankiecie 540 na 1 000 osób wybrało nowy wariant opakowania. Czy to więcej niż pół na pół? Test z dla jednej proporcji: z = 2,530, p = 0,0114, przedział Wilsona od 50,90 % do 57,07 %. Dolna granica jest ledwie nad 50 %, więc przewaga istnieje, ale skromna.

Kiedy wygrywa chi-kwadrat?

Gdy wersji jest więcej niż dwie

Dołóżmy wersję C: 230 zakupów na 4 000 wejść, czyli 5,75 %. Tabela ma teraz 3 wiersze i 2 kolumny. Chi-kwadrat: 5,924 przy 2 stopniach swobody, p = 0,0517.

I tu robi się ciekawie. Ta sama para A i B, która osobno dała p = 0,0153, w teście wszystkich trzech wersji naraz nie przechodzi progu 0,05. Wartość krytyczna dla dwóch stopni swobody to 5,991, a wynik to 5,924. Zabrakło niecałych 0,07.

Czy to znaczy, że B jednak nie działa? Nie. To znaczy, że test ogólny pyta o coś innego: czy którakolwiek wersja odstaje od reszty. Wersja C leży między A i B, rozcieńcza różnice i statystyka rośnie wolniej niż liczba stopni swobody. Robienie trzech osobnych testów z (A-B, A-C, B-C) zamiast jednego chi-kwadrat to zresztą klasyczny sposób na podbicie szansy fałszywego alarmu. Przy trzech porównaniach na progu 0,05 każde ma swoją szansę na przypadkowy „sukces”, więc szansa, że któreś wyjdzie istotne przez przypadek, rośnie.

Gdy wynik ma więcej niż dwie kategorie

Test z zna tylko sukces i porażkę. Jeśli chcesz porównać, jak klienci z dwóch kampanii rozkładają się między trzy wyniki (kupił, zostawił koszyk, wyszedł od razu), zostaje chi-kwadrat. Reszty skorygowane pokażą, która komórka odstaje. Reguła kalkulatora: wartość powyżej ± 1,96 to komórka, która najmocniej odpowiada za wynik.

Gdy sprawdzasz zgodność z rozkładem

Tryb zgodności nie ma odpowiednika w teście z. Przykład: zgłoszenia do serwisu w dni robocze od poniedziałku do piątku, 52, 61, 58, 49 i 70. Czy piątek naprawdę jest cięższy, czy to szum? Przy rozkładzie równomiernym oczekiwanie to 58 na dzień, a wynik to χ² = 4,655, p = 0,3245 przy 4 stopniach swobody. Piątkowe 70 zgłoszeń wygląda na skok, a mieści się w zwykłej zmienności. Trzeba by kilku tygodni danych, żeby cokolwiek twierdzić.

Poprawka Yatesa: jedyny moment, gdy oba testy się rozjeżdżają

W kalkulatorze chi-kwadrat pole z poprawką Yatesa startuje puste. Nic nie wybierzesz, liczy się bez niej. Poprawka ciągłości zmniejsza każdą różnicę między obserwacją a oczekiwaniem o 0,5 i przez to daje ostrożniejszy wynik. Przy dużych liczbach prawie nic to nie zmienia. Przy małych potrafi odwrócić decyzję.

Przy 8 000 obserwacji poprawka przesuwa p o dwie tysięczne. Przy 40 zmienia werdykt z „istotne” na „brak podstaw”. Test z poprawki nie stosuje, więc to jedyna sytuacja, w której oba kalkulatory na tej samej tabeli 2 × 2 dadzą różne p.

Która wersja jest prawdziwa przy małej próbie? Żadna nie jest dokładna, obie to przybliżenia. Przy 40 obserwacjach lepiej sięgnąć po dokładny test Fishera, który nie przybliża niczego rozkładem normalnym. Yatesa włącz głównie wtedy, gdy chcesz porównać swój wynik z programem, który stosuje go domyślnie.

Pytanie, które pada za późno: ile obserwacji trzeba?

Wróćmy do przykładu. Wynik jest istotny, p = 0,0153. Ale czy 4 000 wejść na wersję to było dość? Kalkulator wielkości próby odpowiada na to od drugiej strony. Założenia: obecnie 5 %, chcę wykryć wzrost do 6 %, α = 0,05, moc 80 %, test dwustronny.

8 158 osób na grupę, razem 16 316. Ponad dwa razy więcej niż w naszym teście.

Jak to się ma do tego, że wynik i tak wyszedł istotny? Zaobserwowana różnica wyniosła 1,25 pp, a nie 1 pp, a większą różnicę wykrywa się łatwiej. Dla skoku z 5 do 6,25 % kalkulator żąda 5 333 na grupę. Nadal więcej niż 4 000. Innymi słowy, nawet gdyby prawdziwa różnica wynosiła właśnie 1,25 pp, test miał mniej niż 80 % szans, żeby ją złapać. Tym razem się udało. Przy powtórce mogłoby się nie udać, i to jest w porządku, bo moc testu właśnie to opisuje.

Najlepiej widać to na tej samej proporcji przy mniejszych grupach. Kalkulator testu z, cały czas około 5 % wobec 6,2-6,25 %:

Ten sam wzrost o mniej więcej ćwierć. Przy 1 000 wejść p = 0,24, czyli nic. Przy 2 000 prawie, ale nie. Przy 4 000 jest. Konwersja się nie zmieniła, zmieniła się tylko ilość danych. Wniosek „wersja B nic nie daje” wyciągnięty po 1 000 wejść byłby po prostu przedwczesny.

A jeśli różnica rzeczywiście wynosi równo 1 pp? Przy 200 na 4 000 wobec 240 na 4 000 kalkulator daje z = 1,962 i p = 0,0498. Włos od progu, a przedział ufności zaczyna się od 0,00. Przy 8 158 na grupę ten sam odsetek (408 wobec 489) daje już p = 0,0054.

Jak próba rośnie z ambicjami

Poniżej kilka ustawień kalkulatora wielkości próby. Liczby to minimalna liczebność każdej z dwóch grup:

Dwie rzeczy rzucają się w oczy. Po pierwsze, o połowę mniejsza różnica to mniej więcej cztery razy więcej ludzi: dla skoku z 5 do 6 % trzeba 8 158 na grupę, dla skoku z 5 do 5,5 % już 31 234. Liczebność rośnie z kwadratem odwrotności różnicy, nie liniowo. Po drugie, ostatni wiersz. Wzrost względny jest ten sam co w zrzucie, +20 %, ale przy wyjściowych 20 % próba spada do 1 683. Test A/B na przycisku z konwersją 20 % zamknie się kilka razy szybciej niż ten sam test na stronie z konwersją 1-2 %, przy małym ruchu może nie zamknąć się wcale.

A test jednostronny oszczędza 21 % próby. Kusi. Tyle że to ta sama decyzja co wyżej: kierunek w notatkach przed startem albo wcale.

Werdykt: nie który test, tylko które pytanie

Dla zwykłego testu A/B z dwiema wersjami i odpowiedzią tak lub nie wybór testu nie zmienia decyzji, bo p wychodzi identyczne. Test z jest wtedy wygodniejszy, bo od razu podaje przedział ufności i kierunek. Chi-kwadrat zaczyna być potrzebny w chwili, gdy tabela rośnie. A kalkulator wielkości próby trzeba otworzyć przed testem, nie po nim, bo to on mówi, czy brak istotności będzie coś znaczył.

Najczęstsze pytania

Czy test z i test chi-kwadrat dają ten sam wynik?

Dla tabeli 2 × 2 bez poprawki Yatesa tak: χ² to kwadrat z, a wartość p jest identyczna. W przykładzie z = 2,426, χ² = 5,887 i w obu przypadkach p = 0,0153. Różnią się, gdy włączysz poprawkę Yatesa, wybierzesz test jednostronny albo tabela będzie większa niż 2 × 2.

Ile osób potrzeba do testu A/B?

Przy konwersji 5 % i celu 6 % trzeba 8 158 osób na grupę, razem 16 316, przy α = 0,05 i mocy 80 %. Przy wyjściowej konwersji 20 % i celu 24 % wystarcza 1 683 na grupę. Liczba zależy przede wszystkim od tego, jak małą różnicę chcesz wykryć.

Ile ankiet potrzeba przy marginesie błędu 5 %?

Przy ufności 95 % wychodzi 385 wypełnionych ankiet, a przy marginesie 3 pp już 1 068. Gdy cała populacja liczy 2 000 osób, poprawka na skończoną populację obniża wymagane 385 do 323. Przy spodziewanym odsetku odpowiedzi 40 % trzeba wysłać 963 zaproszenia, żeby dostać te 385.

Co znaczy wynik nieistotny w teście A/B?

Tylko tyle, że dane nie pozwalają odrzucić hipotezy o braku różnicy. Przy 1 000 wejść na grupę wzrost z 5,0 do 6,2 % daje p = 0,2432, a przedział ufności różnicy sięga od -0,81 do 3,21 pp. Mieści się w nim i spadek, i wzrost o ponad 3 punkty. To nie jest dowód, że wersje działają tak samo.

Narzędzia omawiane w tym artykule

Kalkulator Testu z

Liczy test z dla dwóch proporcji (test A/B), jednej proporcji wobec wartości i średniej przy znanym σ. Podaje wartość p w wersji jedno- i dwustronnej, przedział ufności oraz h Cohena.

Kalkulator Chi-kwadrat

Test niezależności dla tabeli krzyżowej od 2 × 2 do 10 × 10 oraz test zgodności z rozkładem równomiernym albo własnymi proporcjami. Pokazuje liczebności oczekiwane, reszty skorygowane, V Craméra i opcjonalną poprawkę Yatesa.

Kalkulator Wielkości Próby

Liczy, ile ankiet potrzeba przy zadanym marginesie błędu i ile osób na grupę wymaga test A/B albo porównanie średnich przy wybranej mocy. Uwzględnia skończoną populację i odsetek odpowiedzi.

Więcej narzędzi z kategorii Statystyka

Kalkulator Testu Fishera · Kalkulator Testu Wilcoxona · Kalkulator Rozstępu Międzykwartylowego · Kalkulator Mody i Dominanty · Kalkulator Percentyla · Kalkulator Współczynnika Zmienności · Kalkulator Korelacji Pearsona · Kalkulator Skośności Rozkładu · Kalkulator Kurtozy · Kalkulator Regresji Liniowej · Kalkulator Współczynnika Determinacji R² · Kalkulator Z-score · Kalkulator Testu t Jednopróbowego · Kalkulator Testu t Dwupróbowego · Kalkulator Wartości p