Posłuchaj nas w podcaście Oskara Lipińskiego >

Kalkulator wielkości próby testu A/B

Policz, ilu użytkowników potrzebujesz do testu A/B, ile potrwa test i jaki efekt da się wykryć w określonym czasie.

Ruch na stronie

Użytkownicy i konwersje muszą dotyczyć tej samej populacji (np. tej samej strony lub segmentu) i tego samego okresu.

Z ilu dni są dane?

Unikalni użytkownicy, którzy kwalifikują się do testu.

Unikalni użytkownicy, którzy dokonali konwersji (np. kupili albo zostawili lead). Kto kupił dwa razy, liczy się raz.

Średnio na tydzień: –

Parametry testu

Łącznie z wariantem kontrolnym: 2 = A/B, 3 = A/B/C.

Jaki procent kwalifikujących się użytkowników weźmie udział w teście.

Najmniejsza względna zmiana współczynnika konwersji, którą chcesz wykryć – nie zmiana w punktach procentowych. Przykład: przy CR 10% i MDE 10% docelowy CR to 11%, czyli +1 p.p.

Hipoteza

Jednostronna sprawdza tylko, czy wariant jest lepszy. Wymaga ok. 20% mniejszej próby, ale nie wykryje pogorszenia. Wybierz przed testem i użyj tej samej w kalkulatorze wyników.

Standardowo: 95%.

Standardowo: 80%.

Wpisz liczbę userów i userów z konwersją, aby zobaczyć wynik.

Jakie MDE ustalić?

MDE (minimalny wykrywalny efekt) to najmniejszy prawdziwy wzrost konwersji, który test wykryje z zadaną mocą, np. w 8 na 10 przypadków. Mniejszy efekt też może wystąpić, ale test łatwo go przeoczy.

  • Im mniejszy efekt chcesz wykryć, tym więcej danych potrzebujesz.
  • Celuj w MDE poniżej 5% przy teście trwającym 4 tygodnie.
  • Jeśli kalkulator pokazuje MDE powyżej 10% nawet dla 6 tygodni, test ma sens tylko dla rewolucyjnych zmian. Przy mniejszych zmianach zwiększ ruch w teście albo testuj większą zmianę.
  • Najwięksi gracze w eksperymentacji wykrywają efekty rzędu 1–2% i mniejsze, bo mają ogromny ruch.

Jakiego efektu się spodziewać?

Większość testów nie daje żadnego efektu albo daje ujemny. Poniższe przedziały opisują efekt zmian, które zadziałały. Zespoły zwykle przeceniają spodziewany efekt, więc bezpieczniej planować test pod dolną granicę przedziału.

Iteracyjne zmiany 1–5% MDE

  • Dopracowanie designu
  • Dopracowanie copy
  • Ulepszenie sekcji / modułów
  • Wyróżnienie elementów
  • Chowanie elementów

Znaczące zmiany 5–10% MDE

  • Duże redesigny
  • Dodanie social proof
  • Komunikacja USP
  • Wiele zmian naraz

Rewolucje, innowacje 10%+ MDE

  • Kompletne rewolucje
  • Zmiana cen
  • Nowe produkty

Dane pokazują, że większość wiarygodnie przeprowadzonych testów A/B na dużej próbie daje efekty poniżej 5%. Wzrosty powyżej 10% przy zmianach samego interfejsu zdarzają się bardzo rzadko.

Przypominajka: jeśli test koloru przycisku pokazuje +20% konwersji, testowi najpewniej brakuje mocy, a wynik jest raczej przypadkowy niż rzeczywisty. Prawdziwy efekt takiej zmiany jest zwykle wielokrotnie mniejszy.

Przykład: zaokrąglenie przycisków to efekt rzędu 0,2%. Przy CR 3% jego wykrycie wymagałoby kilku milionów konwersji w teście.

Zapisz się do newslettera i bądź na bieżąco z informacjami
ze świata CRO i UX!