Wpisz liczbę userów i konwersji w każdym wariancie i odczytaj istotność, uplift oraz jakość danych.
Uzupełnij userów i konwersje we wszystkich wariantach, aby zobaczyć wynik.
Wynik
Confidence
Confidence = 1 − p-value. Tak wynik testu pokazuje większość narzędzi do testów A/B; to tylko inny zapis p-value (99,20% oznacza p = 0,0080). To nie jest prawdopodobieństwo, że wariant jest lepszy, i nie mówi nic o wielkości efektu. Wynik jest istotny, gdy confidence przekracza wymagany poziom ufności.
Zaobserwowany efekt jest prawdopodobnie zawyżony
Sample Ratio Mismatch, czyli niezgodny podział ruchu. Jeśli ruch miał być dzielony po równo, a liczby userów w wariantach różnią się bardziej, niż pozwala przypadek (p < 0,01), coś w teście działa źle – przekierowania, błędy śledzenia, boty. Wtedy wynikowi nie można ufać, nawet jeśli wygląda dobrze, i kalkulator go nie ogłasza.
| Wariant | CR | Uplift | p-value | z | Wynik |
|---|
Względna zmiana współczynnika konwersji wariantu wobec kontroli: (CR wariantu − CR kontroli) / CR kontroli. To najlepsze pojedyncze oszacowanie efektu, ale przy małej próbie zwykle zawyżone – wtedy kalkulator pokazuje ostrożniejszą wartość do business case’u.
Prawdopodobieństwo, że zobaczylibyśmy różnicę co najmniej tak dużą jak w tym teście, gdyby zmiana w rzeczywistości nic nie dawała. Im mniejsze, tym trudniej wytłumaczyć wynik przypadkiem. Wynik jest istotny, gdy p-value jest mniejsze niż 1 − poziom ufności (np. 0,05). p-value to nie prawdopodobieństwo, że wariant jest lepszy, ani że wynik jest prawdziwy.
Wynik z-testu dwóch proporcji: o ile błędów standardowych CR wariantu różni się od CR kontroli. Im dalej od zera, tym mniej prawdopodobne, że różnica to przypadek. Próg przy 95%: z > 1,64 w teście jednostronnym, |z| > 1,96 w dwustronnym. Gdy w którejś grupie jest mniej niż 100 konwersji, p-value liczymy dokładnym testem Fishera, bo przybliżenie normalne przy tak małych liczbach zawyża istotność.
Im więcej wariantów, tym większa szansa, że któryś wygra przypadkiem. Dlatego próg istotności dzielimy przez liczbę porównań z kontrolą: przy A/B/C każdy wariant musi mieć p < 0,025 zamiast 0,05.
Rozkład CR kontroli i wariantu
Co ten test mógł wykryć
Najmniejszy efekt, który test o tej wielkości wykryłby z zadaną mocą. Jeśli wynik jest nieistotny, nie oznacza to braku efektu – mniejszy efekt niż ta wartość mógł zostać niewykryty.
Założenia i ograniczenia
- Z-test dwóch proporcji (przybliżenie normalne), metryka binarna: user skonwertował albo nie.
- Gdy w którejś grupie jest mniej niż 100 konwersji (lub braków konwersji), p-value liczymy dokładnym testem Fishera, bo przybliżenie normalne zawyża wtedy istotność.
- Przy niezgodnym podziale ruchu (SRM) kalkulator nie ogłasza zwycięzcy, bo wynik może być zafałszowany.
- Gdy w którejś grupie jest mniej niż 200 konwersji (lub userów bez konwersji), kalkulator nie ogłasza wyniku – na tak małej próbie nawet istotny wynik to najczęściej przypadek albo mocno zawyżony efekt.
- Przy 3+ wariantach każdy wariant jest porównywany z kontrolą, z korektą Bonferroniego.
- SRM sprawdzany testem chi-kwadrat względem równego podziału ruchu.
