Prodala reklama něco navíc? Jak navrhnout poctivý experiment

Inkrementalita je část výsledku, která by bez daného zásahu nevznikla. Atribuce naproti tomu přiřazuje výsledek podle pravidel měření. Obě informace jsou užitečné, ale odpovídají na jinou otázku. Pro rozhodnutí, zda přidat rozpočet, potřebujete pokud možno věrohodné srovnání se situací bez zásahu, ne jen seznam objednávek připsaných reklamě.

Tento článek nabízí návrh testovacího uvažování, nikoli statistickou garanci nebo univerzální velikost vzorku. Složitější experiment je vhodné připravit s analytikem.

Platformní studie a malý provozní test nejsou totéž

TikTok Conversion Lift Study používá vystavenou a kontrolní skupinu k měření přírůstkových výsledků. Dokumentace současně uvádí podmínky způsobilosti a minimální nároky; nejde o službu automaticky dostupnou každému malému pilotu.

Pokud takový test dostupný není, nevydávejte běžné srovnání „před a po“ za stejnou úroveň důkazu. Může pomoci orientaci, ale sezona, cena, sklad i jiné kampaně mohou výsledek změnit bez souvislosti s testovanou reklamou.

Napište otázku před pohledem na výsledek

Dobrá otázka zní například: „Přinese tato placená podpora navíc ponechané objednávky u vybraného sortimentu při daných nákladech?“ Slabší otázka je „najdeme v reportu něco pozitivního?“

Předem určete hlavní metriku, jednotku přiřazení, období, omezení a rozhodovací pravidlo. Zapište také, co by znamenalo nejednoznačný výsledek. Ne každý test musí skončit odpovědí ano nebo ne; někdy má poctivě skončit „nemáme dost důkazů“.

Kontrolní karta experimentu

Náhodné rozdělení je užitečné jen tehdy, když je správně provedeno a skupiny se zásadně nekontaminují. Pokud se stejný člověk může snadno ocitnout v obou zkušenostech, plán potřebuje další promyšlení.

Modelový výpočet přírůstku

Uvažujme dvě stejně velké, skutečně srovnatelné skupiny. V testované vznikne 120 ponechaných objednávek a v kontrolní 100. Bodový rozdíl je 20 objednávek, relativně 20 % vůči kontrole. To samo ještě neříká, zda je rozdíl statisticky přesvědčivý nebo opakovatelný.

Pokud modelový příspěvek na objednávku před dodatečnou reklamou činí 300 Kč, bodový přírůstek příspěvku je 6 000 Kč. Při dodatečném nákladu 8 000 Kč vychází −2 000 Kč. Jde o ilustraci výpočtu, nikoli skutečná data nebo dostatečný vzorek. Rozdílné velikosti skupin vyžadují odpovídající přepočet, ne prosté odečtení počtů.

Nejčastější zkratky, které kazí závěr

Zastavení testu v prvním dobrém okamžiku zvýhodňuje náhodný výkyv. Současná změna produktu a ceny ztěžuje určení příčiny. Výběr jedné pozitivní metriky z mnoha po skončení testu může vytvářet falešný příběh. A čekání na vratky jen u jedné skupiny rozbíjí srovnatelnost.

U malých pilotů bývá vhodnější poctivě popsat směr a nejistotu než prezentovat přesné procento jako hotovou pravdu. Produkční poznatek „nový úvod je srozumitelnější“ může mít hodnotu i bez prokázaného obchodního liftu. Kreativní testy rozebírá článek o prodejních videích.

Jak předat závěr vedení

Uveďte odhad, nejistotu, omezení a další rozhodnutí. Oddělte platformně připsané výsledky od experimentálního závěru. Pro první vrstvu použijte výklad GMV Max a slovník LIVE metrik.

Kdy je lepší test odložit

Pokud se má současně změnit cena, skladová dostupnost i hlavní produkt, může být obtížné izolovat efekt reklamy. Není vždy nutné zastavit obchodní aktivitu, ale je poctivé změnit výzkumnou otázku. Místo „změříme účinek tohoto prvku“ můžete hodnotit celý balík změn a jeho omezení.

Test také nedává dobrý základ pro rozhodnutí, pokud kontrolní skupina nemůže nakoupit kvůli výpadku zásob a testovaná ano. Rozdíl pak obsahuje dostupnost produktu, nikoli pouze reklamní zásah. Podobně může výsledek zkreslit výrazná propagace v jiném kanálu, která zasáhne skupiny nerovnoměrně.

Před startem sepište situace, které test znehodnotí, a postup při jejich vzniku. Nemusíte znát všechny budoucí problémy, ale předem definované zásadní podmínky omezí pokušení vysvětlit si každý výsledek dodatečně ve svůj prospěch.

U malých vzorků se vyplatí zaměřit také na procesní poznatky: zda funguje sběr dat, zda lze spolehlivě přiřadit náklady a zda tým rozumí definicím. Takový test může být přípravou na pozdější měření, nikoli neúspěchem jen proto, že nepřinesl přesný odhad liftu.

Při komunikaci výsledku nepoužívejte falešnou jistotu. Rozmezí nebo přiznaná nejistota může působit méně marketingově, ale pro rozhodnutí o dalších penězích je cennější než přesné číslo bez věrohodného základu.

FAQ

Stačí porovnat minulý a tento měsíc?

Pro orientaci ano, jako silný kauzální důkaz obvykle ne. Může se změnit mnoho dalších podmínek. Omezení musí být součástí závěru.

Kolik objednávek potřebujeme?

Neexistuje univerzální počet. Záleží na očekávaném rozdílu, variabilitě, návrhu a požadované jistotě. Velikost vzorku patří do přípravy testu.

Co když lift neprokážeme?

Rozlišujte „nenašli jsme přesvědčivý důkaz“ od „efekt určitě neexistuje“. Další postup může být lepší test nebo zastavení nákladů podle rizika; pomůže rámec 90denního pilotu.