Piotr Maćkówka

Po teście A/B — istotność i zakres wzrostu

Czy wzrost jest istotny statystycznie i jak duży może naprawdę być. Podejście częstościowe opiera się na p-value: prawdopodobieństwie uzyskania takiego lub bardziej skrajnego wyniku przy założeniu, że wzrostu nie ma (H0); wynik jest istotny statystycznie, gdy p-value jest poniżej progu α, zwykle 0,05. Liczenie w Twojej przeglądarce — wpisane liczby nigdzie nie wychodzą.

Unikalni użytkownicy, nie sesje.

Użytkownicy, którzy wykonali konwersję po wejściu do testu; osoby, nie konwersje.

Liczeni tak samo jak w A.

Liczeni tak samo jak w A.

Ta sama co w planie.

Poziom ufności

Ten sam co w planie.

Rodzaj testu

Ten sam co w planie — zmiana po zobaczeniu wyniku to naginanie wyniku.

Dane z planu testu — opcjonalnie

Liczby z kalkulatora Przed testem, policzone przed startem testu. Bez nich kalkulator nie sprawdzi, czy test zebrał wszystkich użytkowników i czy wzrost dorównał MDE.

Z wyniku kalkulatora Przed testem: „potrzebujesz … użytkowników na wariant”. Nie tygodniowy ruch i nie suma wariantów.

MDE (minimum detectable effect) wpisane w planie.

Przychód od użytkowników, którzy weszli na stronę objętą testem; pozwala przeliczyć wzrost na złotówki.

Wynik testu

Przykładowe dane — wpisz swoje, a wynik przeliczy się od razu.

p-value to prawdopodobieństwo wyniku co najmniej tak skrajnego, gdyby wzrostu nie było (prawdziwa H0) — nie prawdopodobieństwo, że wariant jest lepszy.

Zakres możliwego wzrostu (95% przedział ufności)

Realny wzrost leży najpewniej w tym zakresie; jeśli zakres obejmuje zero, wzrostu może nie być.

    Analizuj raz, po zebraniu zaplanowanej liczby użytkowników. Każde wcześniejsze „zerknięcie” z możliwością zatrzymania testu podnosi ryzyko fałszywego pozytywu ponad wybrany próg α.

    Szczegóły obliczeń
    CR A / CR BKonwertujący podzieleni przez użytkowników w wariancie.
    —
    Wzrost (pp)CR B − CR A w punktach procentowych.
    —
    Wzrost (%)Wzrost w pp podzielony przez CR A; realny wzrost leży w zakresie wyżej.
    —
    p-value dwustronne / jednostronneDwustronne sprawdza wzrost i spadek, jednostronne tylko wzrost; werdykt bierze rodzaj testu wybrany wyżej.
    —
    Podział użytkowników A/B (SRM)Sprawdza, czy A i B dostały po równo — zakłada podział 50/50; alarm przy p-value < 0,001 oznacza błąd w losowaniu albo w danych.
    —

    Test z

    Statystyka zWzrost w pp podzielony przez swój błąd standardowy.
    —
    Błąd standardowy wzrostuNiepewność wzrostu wynikająca z liczby użytkowników w A i B, liczona bez poolowania (unpooled SE).
    —