Test t-Studenta i wartość p - co naprawdę mówi wynik

Średnia z dziesięciu pomiarów: 498,82 ml. Na etykiecie 500 ml. Test t-Studenta zwraca t = -2,503 i p = 0,0337, a pod spodem zdanie „wynik istotny statystycznie przy poziomie 0,05”.

I tu zaczyna się większość nieporozumień wokół testowania hipotez. Co właściwie zostało wykazane? Że butelki są niedolane? Że na 96,63 procent coś jest nie tak? Ani jedno, ani drugie.

Co mówi wartość p 0,0337 w teście t-Studenta?

Odpowiedź w jednym zdaniu: gdyby prawdziwa średnia wynosiła dokładnie 500 ml, to seria odchylona co najmniej tak mocno jak ta, w dowolną stronę, trafiałaby się mniej więcej w 3,37 procent prób. To rzadko, więc przy progu 0,05 odrzucamy hipotezę zerową. I na tym koniec.

Wartość p nie jest prawdopodobieństwem, że hipoteza zerowa jest prawdziwa. Nie mówi też, jak duża jest różnica ani czy ma ona jakiekolwiek znaczenie w praktyce. Tak brzmi druga z sześciu zasad oświadczenia Amerykańskiego Towarzystwa Statystycznego o wartości p z 2016 roku, a kalkulatory na LiczGrupa.pl dopisują to drobnym drukiem pod każdym wynikiem.

Dane w całym artykule to przykładowa seria dziesięciu liczb: 497,1; 500,4; 498,3; 499,6; 496,8; 501,2; 498,0; 499,4; 497,5; 499,9. Tylko dwie z nich przekraczają 500. Na tej jednej serii da się pokazać, jak wartość p zmienia się od progu, od kierunku hipotezy, od liczby pomiarów i od wyboru testu, chociaż same pomiary zostają te same.

Skąd ta liczba? Test t jednopróbowy rozpisany na kroki

Seria wklejona do kalkulatora testu t jednopróbowego, wartość odniesienia 500, próg 0,05, hipoteza dwustronna:

Tabela niżej pokazuje, z czego kalkulator składa ten wynik. Każdy wiersz da się sprawdzić na kartce, oprócz samego pola pod krzywą rozkładu t, które liczy się numerycznie.

Trzy wiersze mówią dokładnie to samo, tylko innym językiem. |t| = 2,503 jest większe od 2,262. Wartość p 0,0337 jest mniejsza od 0,05. Liczba 500 leży poza przedziałem od 497,754 do 499,886. Jeśli jeden z tych warunków jest spełniony, pozostałe też są, bo wszystkie trzy wynikają z tego samego rozkładu t o 9 stopniach swobody.

Ostatni wiersz jest z innej bajki. d Cohena -0,79 to różnica wyrażona w odchyleniach standardowych i według progów Cohena (0,2 mały, 0,5 średni, 0,8 duży) to efekt średni, blisko granicy dużego. Ta liczba nie zależy od liczby pomiarów. Wartość p zależy, i to bardzo, co za chwilę widać w tabeli.

A co jeśli...? Sześć zmian i sześć innych odpowiedzi

A co jeśli próg istotności to 0,01?

Te same dane, ta sama wartość p 0,0337. Zmienia się tylko poprzeczka. Wartość krytyczna rośnie do 3,250, przedział ufności 99 % rozciąga się od 497,288 do 500,352 i obejmuje już 500. Werdykt: wynik nieistotny. Kalkulator dopisuje wtedy uwagę, że efekt jest co najmniej średni, a mimo to test go nie wykrywa, czyli próba jest za mała na tak ostry próg.

Przy progu 0,10 wynik jest oczywiście istotny. Dlatego próg ustala się przed policzeniem, a nie po. Dobieranie α do wyniku to najprostszy sposób, żeby test przestał cokolwiek znaczyć.

A co jeśli hipoteza jest jednostronna?

Pytanie „czy średnia jest mniejsza niż 500” daje p = 0,0168, czyli dokładnie połowę wartości dwustronnej, bo liczy się tylko lewy ogon. W kalkulatorze wartości p ten sam wynik ma obszar odrzucenia t ≤ -1,833 zamiast |t| ≥ 2,262.

Pytanie odwrotne, „czy średnia jest większa niż 500”, daje p = 0,9832. Ta sama seria, a wynik dalej od istotności się nie da. Kierunek hipotezy wybiera się więc przed zobaczeniem danych, z pytania, na które chcemy odpowiedzieć. Wybrany po fakcie jest zwykłym połowieniem wartości p.

A co jeśli pomiarów byłoby mniej albo więcej?

Tutaj robi się ciekawie. W tabeli średnia 498,82 i odchylenie 1,491 są zamrożone, zmienia się tylko liczebność. Kalkulator testu t jednopróbowego ma do tego tryb gotowych statystyk, więc nie trzeba wymyślać nowych serii.

Różnica jest w każdym wierszu identyczna, 1,18 ml, a d Cohena wszędzie wynosi -0,79. Przy pięciu butelkach test mówi „brak podstaw”, przy dwudziestu „p = 0,0022”. Nic w butelkach się nie zmieniło. Zmieniła się tylko pewność, z jaką da się to wykazać.

Działa to też w drugą stronę, i to jest ta mniej przyjemna połowa. Średnia 499,9 ml, czyli różnica 0,1 ml i d Cohena -0,07, efekt znikomy:

Tysiąc pomiarów i p = 0,0342, prawie tyle samo co w naszej dziesiątce. Tylko że tam różnica wynosiła 1,18 ml, a tu 0,1 ml, czyli mniej niż kropla. Dwie identyczne wartości p, dwa zupełnie różne światy. Stąd prosta reguła czytania wyników: najpierw wielkość efektu, potem p.

A co jeśli porównujemy dwie serie zamiast normy?

Druga seria dziesięciu pomiarów: 500,8; 499,6; 501,9; 500,2; 498,9; 502,3; 500,5; 499,8; 501,1; 500,4. Średnia 500,550, odchylenie 1,032. Kalkulator testu t dwupróbowego dla dwóch niezależnych grup daje w wariancie Welcha t = -3,018, 16,02 stopnia swobody i p = 0,0082. Różnica średnich -1,730, d Cohena -1,35, efekt duży.

Wariant Studenta, z założeniem równych wariancji, daje tu to samo t, 18 stopni swobody i p = 0,0074. Przy równych liczebnościach grup obie wersje prawie się pokrywają. Gdyby to były te same butelki zważone przed i po zmianie ustawień maszyny, test dla par zwróciłby t = -3,425 i p = 0,0076, tyle że wtedy kolejność liczb w obu seriach musi odpowiadać tym samym obiektom. Dla dwóch różnych partii taki test nie ma sensu.

Welch i Student rozjeżdżają się naprawdę dopiero wtedy, gdy grupy mają różną wielkość i różny rozrzut. Tryb gotowych statystyk: grupa A ma średnią 498,82, odchylenie 1,491 i 10 pomiarów, grupa B średnią 500,55, odchylenie 4,5 i 40 pomiarów.

Dane te same, werdykty przeciwne. Student uśrednia oba rozrzuty w jeden, ważony liczebnościami, więc duża i hałaśliwa grupa B zawyża błąd standardowy także dla spokojnej grupy A. Welch liczy błąd każdej grupy osobno. Z tego powodu w R funkcja t.test domyślnie liczy wariant Welcha, a kalkulator ma go ustawionego jako pierwszą opcję. Zresztą przy 0,0488 i tak warto pamiętać, że to wynik na styk.

A co jeśli dane są mocno rozrzucone?

Zupełnie inne liczby. Seria A: 5, 30, 60, 100, 200, 500, seria B: 30, 40, 60, 200, 400, test Welcha, hipoteza „A jest większe”:

Średnie 149,167 i 146,000, różnica 3,167. Odchylenia standardowe 184,944 i 157,734, czyli większe od samych średnich. Wynik: t = 0,031, 8,98 stopnia swobody, p = 0,4881, d Cohena 0,02. Dolna granica ufności dla różnicy to -186,286, więc prawdziwa różnica może być równie dobrze mocno ujemna. Dwustronnie p wynosi 0,9762, a Student daje 0,4883, praktycznie to samo.

Brak istotności nie jest tu jednak najciekawszy. Ciekawsze jest to, że średnia w ogóle słabo opisuje takie serie. Jedna wartość 500 ciągnie średnią A w górę, a mediana to 80. Kalkulator sam podpowiada, że przy wyraźnych wartościach odstających bezpieczniejszy bywa test oparty na rangach. Taki test, w wersji Manna-Whitneya dla dwóch niezależnych grup, jest w kalkulatorze testu Wilcoxona, a asymetrię serii najpierw warto zmierzyć w kalkulatorze skośności.

A co jeśli statystyka wynosi 926?

Kalkulator wartości p przyjmie każdą liczbę. Rozkład t, statystyka 926, 9 stopni swobody, hipoteza dwustronna:

Wynik: p = 1,02 · 10^-23, pole prawego ogona 5,09 · 10^-24, trzy gwiazdki i 76,38 bitu zaskoczenia. Liczba absurdalnie mała. Tylko że kalkulator wartości p nie wie, skąd wzięło się 926, i nie ma skąd się dowiedzieć, czy różnica wynosiła tonę, czy mikrolitr. Taka statystyka może wyjść z gigantycznej próby i nieistotnego w praktyce efektu, jak w tabeli z dziesięcioma tysiącami pomiarów wyżej.

Dużo ciekawsza jest nasza własna statystyka -2,503, wpisana na trzy sposoby. Jako t przy 9 stopniach swobody daje p = 0,0337. Jako z, czyli z rozkładu normalnego, daje p = 0,0123. Jako t przy 1 000 stopni swobody p = 0,0125, bo rozkład t przy dużej próbie praktycznie pokrywa się z normalnym. Przy małej próbie ogony są grubsze i ta sama liczba jest mniej zaskakująca. Podobnie t = 2,1: przy 9 stopniach swobody p wynosi 0,0651, przy 30 już 0,0442, a kalkulator ostrzega, że decyzja przy tak bliskim progu jest wyjątkowo krucha.

Wartości krytyczne rozkładu t i chi-kwadrat dla najczęstszych stopni swobody

Te same progi, które kalkulator wartości p liczy dla dowolnych stopni swobody, zebrane dla dwunastu najczęściej sprawdzanych. Tabela t pokazuje próg jednostronny przy 0,05 oraz dwustronny przy 0,05 i 0,01. Każdy wiersz prowadzi do strony z pełną drabiną poziomów α. Przy df = 1 dwustronny próg 12,706 jest o 548,3 procent wyższy niż 1,960 z rozkładu normalnego, przy df = 30 spada do 2,042.

Rozkład chi-kwadrat działa inaczej. Statystyka nie ma znaku, więc test niezależności w tabeli albo test zgodności patrzy na prawy ogon. Stopnie swobody to w teście zgodności liczba kategorii minus jeden, a w tabeli wielodzielczej iloczyn (wiersze - 1) x (kolumny - 1), więc tabela 2 x 2 ma df = 1, a 3 x 4 ma df = 6. Przy bardzo małych liczebnościach w tabeli 2 x 2 zamiast chi-kwadrat lepiej użyć dokładnego testu Fishera.

Wszystkie scenariusze obok siebie

Dziesięć rachunków z tego artykułu w jednej tabeli. Pogrubiony wiersz to wynik, od którego wszystko się zaczęło.

To co, wierzyć wartości p czy nie?

Wierzyć, ale tylko w to, co ona faktycznie mówi. Wartość p odpowiada na jedno wąskie pytanie: jak nietypowe byłyby te dane, gdyby różnicy nie było. Nie mówi, jak duża jest różnica, i sama z siebie nie mówi, czy się nią przejmować. Na to są d Cohena i przedział ufności, które kalkulatory testu t pokazują obok, więc naprawdę nie ma powodu patrzeć tylko na jedną liczbę.

W praktyce wystarczy kolejność. Najpierw próg i kierunek hipotezy, ustalone zanim zobaczy się wynik. Potem wybór testu: Welch przy dwóch grupach, test dla par tylko przy parach, test rangowy przy danych z wyraźnymi wartościami odstającymi. Dopiero na końcu p, czytane razem z wielkością efektu. Seria z tego artykułu przeszła przez to wszystko i przy progu 0,05 dalej mówi to samo: średnio brakuje około 1,18 ml, z przedziałem od 0,114 do 2,246 ml. Czy to dużo, rozstrzyga już nie statystyka, tylko etykieta i przepisy.

Narzędzia omawiane w tym artykule

Kalkulator Testu t Jednopróbowego

Sprawdza, czy średnia z serii pomiarów albo z gotowych statystyk różni się od wartości odniesienia, i podaje t, wartość p, przedział ufności oraz d Cohena.

Kalkulator Testu t Dwupróbowego

Porównuje dwie grupy testem Welcha albo Studenta, a pary pomiarów testem dla par, z tabelą obu wariantów obok siebie.

Kalkulator Wartości p

Zamienia statystykę z, t, chi-kwadrat albo F na wartość p i liczy wartości krytyczne dla dowolnych stopni swobody.

Więcej narzędzi z kategorii Statystyka

Kalkulator Testu Fishera · Kalkulator Testu Wilcoxona · Kalkulator Rozstępu Międzykwartylowego · Kalkulator Mody i Dominanty · Kalkulator Percentyla · Kalkulator Współczynnika Zmienności · Kalkulator Korelacji Pearsona · Kalkulator Skośności Rozkładu · Kalkulator Kurtozy · Kalkulator Regresji Liniowej · Kalkulator Współczynnika Determinacji R² · Kalkulator Z-score