Piotr Maćkówka

Przed testem A/B — wielkość próby i czas trwania

Ilu użytkowników potrzebujesz i ile tygodni potrwa test przy Twoim ruchu. Liczenie w Twojej przeglądarce — wpisane liczby nigdzie nie wychodzą.

Użytkowników, konwertujących i przychód z GA4 policzysz w BigQuery zapytaniami z artykułu Dane do testu A/B z GA4 w BigQuery.

Unikalni użytkownicy, którzy w tygodniu weszli na stronę objętą testem (np. kartę produktu), łącznie dla wszystkich wariantów; nie sesje.

Ilu z tych użytkowników wykonało konwersję (zakup, telefon, formularz) po wejściu na stronę testową; liczysz osoby, nie konwersje.

MDE (ang. minimum detectable effect) to najmniejszy wzrost CR, który test ma wykryć — ten, który ma dla Ciebie znaczenie biznesowe, a nie ten, którego się spodziewasz. Nie wiesz, ile wpisać? Sprawdź w tabeli, jakie MDE wykryjesz w swoim czasie, i oceń, czy zmiana może tyle dać.

Przy więcej niż 2 kalkulator zaostrza próg p-value (korekta Bonferroniego), żeby więcej porównań nie dawało więcej fałszywych pozytywów.

Poziom ufności

Chroni przed fałszywym pozytywem (błąd I rodzaju, α). Próg p-value to 100% minus poziom ufności: przy 95% wynik jest istotny, gdy p < 0,05. Przy więcej niż 2 wariantach próg spada — dokładną wartość pokazują Szczegóły obliczeń.

Moc testu

Chroni przed fałszywym negatywem (błąd II rodzaju, β): przy 80% realny wzrost równy MDE wykryjesz w 4 testach na 5, a w piątym go przeoczysz.

Rodzaj testu

Ile tygodni strona, ceny i kampanie mogą zostać bez zmian. Najwyżej 8 — dłużej kasowanie cookies miesza warianty.

Przychód od użytkowników, którzy weszli na stronę objętą testem; pozwala przeliczyć wykrywalny wzrost na złotówki.

Plan testu

Przykładowe dane — wpisz swoje, a wynik przeliczy się od razu.

MDE, czyli najmniejszy wzrost, który wykryjesz po danym tygodniu testu.
Tydzień Użytkownicy na wariant MDE (%) MDE (pp)
Szczegóły obliczeń
Czas trwaniaTyle tygodni zbierasz użytkowników łącznie, zaokrąglone w górę do pełnych tygodni.
—
Użytkownicy na wariantTylu użytkowników musi trafić do każdego wariantu; liczba zależy od CR, MDE, ufności, mocy, rodzaju testu i liczby wariantów, nie od liczby użytkowników w tygodniu.
—
Użytkownicy łącznieTylu użytkowników musi wziąć udział w teście we wszystkich wariantach razem; liczba użytkowników w tygodniu decyduje tylko, jak szybko ich zbierzesz.
—
CR wariantu przy wzroście równym MDETyle musi osiągnąć wariant, żeby wzrost był równy MDE.
—
Próg p-value (α)Poniżej tej wartości wynik uznasz za istotny; przy więcej niż 2 wariantach zaostrzony.
—