1. časť: tu
V prvej časti článku som minulý mesiac načrtol spôsob, akým môžeme optimalizáciu kampane podľa “soft” metrík kvality návštevnosti zautomatizovať použitím Conversion Optimizeru. V tomto pokračovaní predložím výsledky jednomesačného testovania. Použijem metódu porovnania dvoch rovnakých časových období. Obdobie t0 bude predstavovať jeden mesiac pred spustením testu, obdobie t1 mesiac po spustení Optimizeru.
VYHODNOTENIE TESTU
|
Začína to zaujímavo. Už prvý pohľad na ukazovatele kvality v porovnaní mesiacov nám hovorí, že Pages/Visit sa zvýšilo, Bounce Rate sa znížil – to všetko sú žiadúce efekty, ale Avg. Time on Site zostal na úplne rovnakej hodnote. Pritom je to práve tento ukazovateľ, ktorý sme “premenili” na konverziu. Znamená to hneď, že výsledok je negatívny? Tak jednoduché to nebude. Všimnime si, že hodnota Avg. Time on Site za celý web z mesiaca na mesiac klesla o 5 sekúnd. To potom znamená, že ak sa hodnota z kampane udržala na rovnakej pozícii, v relatívnom vyjadrení k priemeru stránky si v skutočnosti polepšila a to hneď o 4.57 percentuálneho bodu. Uvidíme to, keď obohatíme našu tabuľku o hodnotiace ukazovatele:
|
Malá sigma (σ) je číslo, ktoré tradične vidíme v Analytics,
hovorí nám o koľko sme lepší alebo horší ako priemer stránky. Klasicky platí,
že červené čísla sú tie “zlé” a zelené tie “dobré”. V prvom mesiaci jún vidíme,
že naše hodnoty z kampane majú o niečo horšie výsledky ako je priemer webu.
Druhý mesiac môžeme zaznamenať, že Bounce Rate sa dostal do zelených čísel a “náskok
priemeru” sa trochu znížil. O koľko (percentuálnych bodov) sa znížil nám hovorí
rozdiel v hodnotách σ v nasledujúcom stĺpci. Posledný stĺpec nám udáva, o koľko
sa sa daný ukazovateľ zlepšil či zhoršil v percentách.
Voľba metrík je dôležitá. Nikdy nejde iba o to, či sa čísla
zlepšili alebo zhoršili. Z mesiaca na mesiac môžu mať vplyv napr. trendy a
preto pokiaľ chceme vedieť, či sa našej kampani naozaj darí alebo nie, musíme
vždy porovnávať naše dáta s ostatnými zdrojmi návštevnosti, resp. priemernými
hodnotami webu. (Za predpokladu, že existuje rozumná skladba týchto zdrojov.)
Preto by som navrhoval pridať ešte jednu neštandardnú metriku na hodnotenie
úspešnosti testu. Ak nám Σ(t) ukazuje percentuálne nárast/pokles toho-ktorého
ukazovateľa v čase, majme ešte ukazovateľ Δ(σ), ktorý bude vyjadrovať nárast,
resp. pokles relatívneho hodnotenia úspešnosti v pomere k priemeru webu Δ(σ)
= [σ(t1) / σ(t0)] – 1. Hodnotenie bude potom nasledujúce:
|
Interpretácia: Všetky ukazovatele kvality návštevnosti a ich
výkon v pomere k priemernému výkonu celého webu zo všetkých zdrojov
návštevnosti sa z mesiaca na mesiac zlepšili, o čom svedčia zelené čísla Δ(σ)
pri všetkých ukazovateľoch.
ZÁVER
Sú možné tri interpretácie:
1. Test je negatívny. Spustenie Conversion Optimizeru je
voči výsledkom indiferentné. Ukazuje to nízke (relatívne) resp. nulové
(absolútne) zlepšenie Avg. Time on Site.
2. Test je pozitívny. Výraznejšie zmeny v ostatných
ukazovateľoch iba dokazujú vysokú prirodzenú korelovanosť týchto metrík kvality
a preto treba vyhodnocovať všetky tri ako celok.
3. Test je nevalidný. Výpovedná hodnota dát je malá a na
úrovni prirodzených fluktuácií, na čo poukazuje pomerne problematické
“zlepšenie” ukazovateľa Avg. Time on Site.
Môj názor je, že 1. neplatí. Pozitívny pohyb všetkých troch
ukazovateľov nemožno prehliadnuť, pokiaľ porozumieme hodnotiacim metrikám.
Prikláňam sa k 2., ale pri testovaní PPC, ktoré prebieha v reálnych a nie
laboratórnych podmienkach, by som vyzval k ďalšiemu testovaniu, aby nebolo pochýb
o výpovednej hodnote týchto dát. Ak budete navrhovaný postup
