Kalkulator Wielkości Próby - Ankieta, Margines i Test A/B

Wielkość próby do ankiety, średniej i testu A/B

Ile osób musi wypełnić ankietę albo trafić do każdej wersji testu A/B, żeby wynik coś znaczył? Kalkulator liczy minimalną liczebność próby z marginesu błędu i poziomu ufności albo z różnicy, którą chcesz wykryć, i z mocy testu. Ankieta z marginesem ± 3 pp przy ufności 95 % wymaga 1 068 odpowiedzi, a wykrycie wzrostu konwersji z 5 % do 6 % z mocą 80 % to 8 158 osób w każdej grupie.

Problem: próba „na oko” jest albo za mała, albo za droga

Sto ankiet brzmi solidnie, dopóki nie policzysz, że daje margines błędu około ± 9,8 pp. Wynik 55 % „za” nie mówi wtedy nawet, czy większość jest za. Z drugiej strony dziesięć tysięcy odpowiedzi tam, gdzie wystarczyłoby czterysta, to zmarnowany budżet. W testach A/B jest gorzej: za mała próba nie wykryje różnicy, która naprawdę istnieje, i dobra zmiana zostaje odrzucona.

Rozwiązanie: liczba policzona przed zbieraniem danych

Kalkulator obsługuje cztery sytuacje: odsetek w ankiecie, średnią z pomiarów, porównanie dwóch odsetków i porównanie dwóch średnich. Wynik zawsze zaokrąglany jest w górę.

Poprawka na małą populację. Gdy wiesz, ile osób liczy cała grupa, na przykład 800 pracowników firmy, kalkulator zmniejsza próbę tak, jak pozwala na to losowanie bez zwracania.

Liczba zaproszeń, nie tylko odpowiedzi. Po wpisaniu spodziewanego odsetka odpowiedzi dostajesz, do ilu osób trzeba wysłać ankietę.

Tabele „co jeśli”. Obok wyniku widać, ile próby kosztuje inny margines błędu, inna ufność albo inna moc testu.

Jak obliczyć wielkość próby - krok po kroku

Do czego jest próba - ankieta z odsetkiem, średnia, dwa odsetki (test A/B) albo dwie średnie.
Poziom ufności i margines błędu - dla ankiety w punktach procentowych, typowo 95 % i ± 3 albo ± 5 pp. Dla średniej margines w jednostkach pomiaru.
Oczekiwany odsetek albo odchylenie σ - odsetek z poprzedniego badania. Jeśli go nie znasz, zostaw pole puste, kalkulator przyjmie 50 %, które daje największą próbę. Odchylenie weź z pilotażu albo z poprzednich pomiarów.
Populacja i odsetek odpowiedzi - pola opcjonalne. Populację wpisz tylko wtedy, gdy jest mała i znana.
Różnica do wykrycia, α, moc i hipoteza - przy porównaniu grup. Różnica to najmniejsza zmiana, która miałaby dla Ciebie znaczenie. Standard to α = 0,05, moc 80 % i hipoteza dwustronna.
Odczytaj wyniki - minimalne n, wartości pomocnicze, tabela wariantów i rozpisany rachunek.

Tabela decyzyjna: ile ankiet przy jakim marginesie

Dla dużej populacji i odsetka 50 %, czyli w najbardziej wymagającym wariancie. Wyróżniony wiersz to najczęstszy wybór w sondażach.

Margines błędu	Ufność 90 %	Ufność 95 %	Ufność 99 %
± 1 pp	6 764	9 604	16 588
± 2 pp	1 691	2 401	4 147
± 3 pp	752	1 068	1 844
± 4 pp	423	601	1 037
± 5 pp	271	385	664
± 10 pp	68	97	166

Margines maleje z pierwiastkiem z próby. Żeby zmniejszyć go o połowę, trzeba mniej więcej czterech razy więcej odpowiedzi: z 385 przy ± 5 pp do 1 537 przy ± 2,5 pp. Dlatego zejście poniżej ± 2 pp rzadko się opłaca.

Sześć sytuacji z policzoną próbą

Sondaż ogólnokrajowy, ufność 95 %, margines ± 3 pp, odsetek nieznany.
Wynik: 1 068 ankiet. Populacja kraju jest tak duża, że poprawka niczego nie zmienia.

Ankieta pracownicza w firmie liczącej 800 osób, 95 %, ± 5 pp, spodziewany odsetek odpowiedzi 40 %.
Wynik: 260 wypełnionych ankiet zamiast 385, czyli trzeba zaprosić 650 osób.

Odsetek z poprzedniej edycji wynosił 20 %, ufność 99 %, ± 3 pp.
Wynik: 1 180 ankiet, o 664 mniej niż przy nieznanym odsetku (1 844).

Średni czas dojazdu z dokładnością ± 2 minuty przy odchyleniu 12 minut, 95 %.
Wynik: 139 pomiarów. Przy ± 1 minucie już 554.

Test A/B strony, konwersja 5 %, szukany wzrost do 6 %, α = 0,05 dwustronnie, moc 80 %.
Wynik: 8 158 osób na wersję, razem 16 316. Przy mocy 90 % już 10 921 na wersję.

Dwie metody nauczania, różnica 5 punktów w teście o odchyleniu 10 punktów, czyli d Cohena 0,5.
Wynik: 63 uczniów w każdej grupie, razem 126.

Szybka ściągawka dla testu A/B

Osób na każdą wersję przy α = 0,05 dwustronnie i mocy 80 %. Wzrost podany względnie, więc +20 % przy konwersji 5 % oznacza przejście na 6 %.

Konwersja obecna	Wzrost +10 %	Wzrost +20 %	Wzrost +50 %
2 %	80 682	21 109	3 826
5 %	31 234	8 158	1 471
10 %	14 751	3 841	686

Pytania od użytkowników

Dlaczego przy nieznanym odsetku przyjmuje się 50 %?

Iloczyn p × (1 - p) jest największy właśnie przy 50 % i wynosi 0,25. Każdy inny odsetek daje mniejszą próbę, więc 50 % to założenie, przy którym próba na pewno wystarczy.

Czy przy populacji 10 000 osób potrzeba dużo mniej ankiet?

Niewiele. Przy ± 5 pp i ufności 95 % wychodzi 370 zamiast 385, przy 100 000 osób 383. Poprawka robi różnicę dopiero w małych grupach: 278 przy tysiącu osób i 80 przy stu.

Co to jest moc testu i dlaczego 80 %?

Moc to szansa, że test wykryje różnicę, która naprawdę istnieje. Przy 80 % w co piątym takim badaniu prawdziwy efekt zostanie przeoczony. To konwencja, a nie prawo, więc przy kosztownych decyzjach warto brać 90 %.

Czy hipoteza jednostronna zmniejsza próbę w teście A/B?

Tak, przy 5 % → 6 % z 8 158 do 6 426 osób na wersję. Warunek jest jeden: kierunek musi być ustalony przed testem, a spadek konwersji nie może Cię interesować, bo test go nie wykaże.

Czy duża próba naprawi źle dobraną ankietę?

Nie. Margines błędu opisuje tylko błąd losowy. Ankieta rozesłana wyłącznie do czytelników newslettera daje dokładny wynik o czytelnikach newslettera, a nie o wszystkich klientach, niezależnie od liczby odpowiedzi.

Skąd wziąć odchylenie standardowe, zanim zbiorę dane?

Z badania pilotażowego na kilkudziesięciu osobach, z wcześniejszych pomiarów tej samej cechy albo z publikacji. W ostateczności przyjmuje się rozstęp typowych wartości podzielony przez 4. Zbyt niskie σ zaniża próbę, więc lepiej zaokrąglać je w górę.

Powiązane narzędzia

Kalkulator Testu z

Sprawdzenie, czy wynik zebranego testu A/B albo ankiety jest istotny - Zobacz kalkulator

Kalkulator Chi-kwadrat

Test niezależności odpowiedzi w tabeli krzyżowej z ankiety - Zobacz kalkulator

Kalkulator Testu t Dwupróbowego

Porównanie średnich dwóch grup po zebraniu pomiarów - Zobacz kalkulator

Kalkulator Wartości p

Wartości krytyczne i p dla rozkładów z, t, chi-kwadrat i F - Zobacz kalkulator

Kalkulator Współczynnika Zmienności

Odchylenie standardowe względem średniej z danych pilotażowych - Zobacz kalkulator