Jak měřit vliv notifikací A/B testem
Zjistěte, kolik objednávek nebo leadů notifikace skutečně přidala, pomocí kontrolní varianty a jasné metriky.
20% SLEVA NA VŠE🔥!
20% sleva při nákupu nad 1200,-
Text, barvy, pozici, stránky, zařízení i frekvenci si nastavíte podle vlastního webu.
Dobrý test odpoví na obchodní otázku: kolik objednávek, leadů nebo reakcí přinesla notifikace navíc? Stačí předem určit hypotézu, rozdělit srovnatelné návštěvy a sledovat stejnou konverzi u varianty s notifikací i bez ní.
Model vyhodnocení
Notifikace s recenzí na detailu produktu
Modelová čísla ukazují způsob výpočtu, nikoli zveřejněný výsledek Notifikačky.
Začněte hypotézou
Příklad: „Recenze na produktové stránce zvýší podíl dokončených objednávek, aniž by zvýšila rychlé odchody.“ Předem určete primární konverzi a ochranné metriky, například opuštění stránky nebo reklamace kupónu.
Kontrolní a testovací varianta
- Náhodně rozdělte způsobilé návštěvy na dvě skupiny.
- Kontrolní skupina pokračuje bez nové notifikace; testovací ji uvidí podle stejných pravidel.
- Během testu neměňte zároveň cenu, checkout a zdroje návštěvnosti bez zaznamenání změny.
- Vyhodnoťte všechny přiřazené návštěvy, nejen ty, které na zprávu klikly.
Časté chyby
Nekončete test při prvním pozitivním dni, neporovnávejte různé týdny bez kontroly sezónnosti a nezaměňujte korelaci za příčinu. U malého počtu objednávek výsledek raději označte za neprůkazný.
Co si uložit
Zapište hypotézu, období, cílové URL, rozdělení provozu, počet návštěv a konverzí obou variant i další souběžné změny. Díky tomu lze závěr později zkontrolovat a neopírá se jen o screenshot grafu.