Stäng Huvudmeny

Så analyserar du (inte) Google Optimize-experiment i GA

A/B-testning

TL;DR:
Om du analyserar Google Optimize-experiment i Google Analytics MÅSTE du använda en speciell uppsättning av sekvenssegment.

Annars är din analys skräp! Nej, vi överdriver inte.

Det gäller dock under något av följande antaganden:

    1. Att experimentet du analyserar har överlappat tidsmässigt med ett annat experiment (dom har helt eller delvis körts samtidigt)

    Eller,

    2. Att du analyserar på User-nivå

Google Optimize och Google Analytics är automatiskt kopplade till varandra, vilket gör att du kan analysera ditt experiment i dina befintliga rapporter i Google Analytics utan extra integration. Det finns dock en fallgrop när du ska analysera ditt experiment som du undviker genom att använda anpassade segment.

När du först implementerar Google Optimize kopplar du det till ditt Google Analytics-konto så att de är integrerade med varandra.

Det finns en inbyggd rapport för experiment från Optimize i Google Analytics (under Reporting > Behavior > Experiments), men för att kunna titta djupare på din data kan du vilja skapa segment för dina olika testvarianter.

Optimize använder tre dimensioner som kan användas för att bygga segment i Google Analytics:

Experiment ID, Experiment Name och Variant.

ExperimentID hittar du i informationspanelen för ett experiment i Optimize efter att du har startat det.

Så analyserar du (inte) Google Optimize-experiment i GA

Variant anges med ett index där 0 är originalet och 1 är första varianten, 2 är andra varianten och så vidare.

Ett vanligt sätt att skapa segment är att använda Conditions för att ange villkor som segmentet ska uppfylla. Det är dock inte helt problemfritt för experiment i Google Optimize.

Så analyserar du (inte) Google Optimize-experiment i GA

Om du använder Conditions för att filtrera på ExperimentID och Variant så är de två dimensionerna inte automatiskt kopplade till varandra.

Det innebär att du kommer att få upp alla sessioner med angivet Experiment ID och variantnummer – men de behöver inte höra ihop.

Skulle du köra två test samtidigt på sajten kan du alltså få upp alla sessioner där en användare egentligen sett originalvarianten för det experiment du tittar på, men sedan kommit till en annan del av sajten där de sett variant 1 av ett annat experiment.

Segmenterar du på Users kommer du dessutom få se alla besökare som varit med i ditt experiment och någon gång sett en variant med det indexet du angett. Yikes!

Condition-baserade segment kräver nämligen inte att kriterierna sker i samma “hit”. Har du flera experiment igång och en användare ser båda inom en session kan du alltså inte vara säker på att den sett variant 1 i just det experiment du tittar på.

    Säg att du kör två test på din sajt:

    TestX är en ny bild på landningssidan och TestY är en annan layout på produktsidan.

    Anna kommer in i ditt experiment på landningssidan och ser originalet i TestX. Sedan går Anna in på en produktsida och får se varianten i TestY.

    Nils kommer in i ditt experiment på landningssidan och ser varianten i TestX. Sedan går Nils in på en produktsida och får se varianten i TestY.

    Elsa kommer in i ditt experiment på landningssidan och ser varianten i TestX. Sedan går Elsa in på en produktsida och får se originalet i TestY.

    Daniel kommer in i ditt experiment på startsidan och ser originalet i TestX. Sedan går Daniel in på en produktsida och får se originalet i TestY.

    Rent grafiskt skulle det se ut så här (0 är original och 1 är variationen):

Så analyserar du (inte) Google Optimize-experiment i GA

    Sedan sätter du upp segment med Conditions för de olika variationerna i TestX:

    Original, där Experiment ID = TestX och Variant = 0
    Variant, där Experiment ID = TestX och Variant = 1

    I det första segmentet kommer du att få med alla som sett TestX och en Variant 0, det vill säga Anna, Elsa och Daniel.

    I det andra segmentet kommer du att få med alla som sett TestX och en Variant 1, det vill säga Anna, Nils och Elsa.

Så analyserar du (inte) Google Optimize-experiment i GAI segmentet för varianten ingår alla som besökt Text X och Variant 1.

    Anna och Elsa hamnar alltså i båda segmenten, trots att Anna inte sett den nya bilden på landningssidan och Elsa inte har sett den ändrade produktsidan.

    Så här undviker du att din analys blir skräp:

    Det du istället behöver göra är att skapa ett segment baserat på sekvenser där du lägger in Experiment ID och Variant i samma steg. På så sätt måste kriterierna uppfyllas i samma “hit”.

Så analyserar du (inte) Google Optimize-experiment i GAKorrekt uppsättning med sekvenssegment

    Så om du istället sätter upp segment med Sequences för de olika variationerna i TestX:

    Original, där STEG 1 har reglerna Experiment ID = TestX AND Variant = 0
    Variant, där STEG 1 har reglerna Experiment ID = TestX AND Variant = 1

    I det första segmentet kommer du nu att få med alla som sett TestX och en Variant 0 i samma hit, det vill säga Anna och Daniel.

    I det andra segmentet kommer du att få med alla som sett TestX och en Variant 1 i samma hit, det vill säga Nils och Elsa.

Så analyserar du (inte) Google Optimize-experiment i GAI segmentet för variationen ingår nu bara de som besökt TestX och Variant 1 samtidigt.

    Experiment ID, Experiment Name och Variant skickas i en hit per experiment, så är man med i två experiment på samma sida skickas det alltså ändå två hits.

    Så länge du gör sekvenssegment enligt beskrivningen ovan så är det alltså inga problem för din analys.

Nu när du har koll på analysen, se också till att undvika det här A/B-test misstaget under de kommande veckorna, rädda ditt företag från förlorad tid, felaktiga beslut och tappade kunder i juletid:

därför ska du inte ab-testa i december


Elin Ledenvik Om Elin

Elin har akademisk bakgrund inom Medieteknik med fokus på bland annat användbarhet och interaktionsdesign. Hon kom in i konverterings-svängen som utvecklare inom A/B-testning och insåg snabbt att CRO är grejen.

Få gratis konverteringstips

Anmäl dig till vårt nyhetsbrev

Nyhetsbrev

Lär av…

Kundcase Mathem ✻ Guldkorn
✻ Mallar och metoder
✻ A/B-tester och resultat
Lär av case

Kan du göra lika?

Se kundcase Se kundcase✔︎ Analys & webbpsykologi
✔︎ A/B-tester & resultat
Se alla case

Få platser kvar till flera seminarier

Anmäl dig till seminarium ✔︎ Webbpsykologi & verktyg
✔︎ A/B-testning & Google 360
✔︎ Snacka med experterna

Flera tillfällen i vinter

Säkra din plats

Spara 1000 kr

Conversion Jam 2017

Missade du?

Världens största CRO-event

Spara 1000 kr på din biljett till CJAM8

Du, kontakta oss!

Kontakta oss
Gitte eller hennes awesome kollegor hjälper dig.