När du A/B-testar är du intresserad av testresultatet. Du vill primärt veta om testet 1) är signifikant och 2) ger korrekt data. Integrera ditt analysverktyg till ditt testverktyg, så får du både hängslen och livrem på dina A/B-tester.
Vi delar upp manualen i två bloggposter, detta är den första som hjälper dig integrera Google Analytics till A/B-testverktyget Optimizely. Den andra posten hjälper dig avläsa mätningarna och datan du samlat in.
Översikt TL;DR
- Integrera Analytics och Optimizely och du kan kvalitetssäkra dina A/B-resultat
- Du sparar tid och undviker A/B-test Fuckups p.g.a. trasig data
Innehåll:
Varför vill du se A/B-resultat även i Universal Analytics?1. Installera Optimizelys integrations-kod
2. Definiera ny Custom Dimension för ditt A/B Test
3. Sätt upp ditt A/B test och aktivera integration i Optimizely
4. Starta A/B test och kolla att du får in Custom Dimension-data
Varför vill du se A/B-resultat även i Universal Analytics?
Det finns många anledningar till varför datan till ditt A/B-test kanske inte kommer in som den ska:
When it comes to split testing, the most dangerous mistakes are the ones you don’t realise you’re making.[…] This is just one of over 60 ways to break your AB test that I’ve discovered.
Craig Sullivan, @OptimiseOrDie
CRO Experts Biggest A/B Testing Mistakes
Att bara ha datan i ditt A/B-testverktyg gör att du inte kan ställa någon diagnos på dina A/B-testresultat. Om du däremot även skickar samma data till ditt webbanalys-verktyg kan du enkelt jämföra siffrorna och se var de inte går ihop.
I denna första del kommer vi kolla på hur du sätter upp Optimizely så data från ditt A/B-test dyker upp i ditt Universal Analytics som Custom Dimensions.
1. Installera Optimizelys integrations-kod
Först måste du addera en aktiveringskod till din existerande Universal Analytics-kod som säger till Optimizely att aktivera integrationen och börja skicka A/B-testdata som Custom Dimensions.
Om du kör Universal Analytics direkt på din sajt:
a. Två rader Optimizely-kod mellan GA Create och GA Send Pageview
Detta är koden som ska infogas i mitten av din existerande Universal Analytics spårningskod:
window.optimizely = window.optimizely || [];
window.optimizely.push("activateUniversalAnalytics");
Den ska placeras efter att Universal Analytics anropats med ga('create'... men innan sidvisningen skickats med ga('send', 'pageview');
Se exempel på rad 17 nedan:
Rekommenderat: Uppdatera din spårningskod på hela din webbplats så behöver du inte göra om detta steg när du senare lanserar A/B test på nya delar av sajten.
Voila! Du har nu installerat Optimizelys integrations-kod. Gå vidare till steg 2 ”Sätt upp Custom Dimensions” längre ned i denna bloggpost.
Om du kör Universal Analytics via Google Tag Manager:
a. Ny Custom HTML-tag i GTM
Om du kör Universal Analytics via GTM så gör du det förmodligen inte via en Custom HTML-tag utan via GTM’s template-baserade Universal Analytics-tag:
Det vi behöver göra för att aktivera Optimizely så A/B data skickas in till Universal Analytics är att lägga in två rader kod. Template Universal Analytics-tagen i GTM har inget fält som tillåter det. Därför kommer vi skapa en Custom HTML-tag där vi lägger in Universal Analytics-koden precis som om den legat direkt på sidan.
Så sätter du upp Custom HTML taggen
- Gå till ditt Google Tag Manager och sedan ”Container Draft>Overview”. Klicka på ”New>Tag”. Välj ett namn t.ex. ”Universal Analytics via Custom” och under ”Select Tag Type” välj ”Custom HTML Tag”.
- Gå till ditt Universal Analytics och din main property (eller den property du vill spåra A/B test datan till) ”Admin>Property>TrackingInfo>TrackingCode”. Kopiera spårningskoden och klistra in den i din Custom HTML Tag i GTM i det stora fältet ”HTML”.
- Nu när du har en Custom HTML-tag med din Universal Analytics spårningskod i kan du plötsligt modifiera denna spårningskod genom att också klistra in de två integrations-kodraderna från Optimizely:window.optimizely = window.optimizely || [];
window.optimizely.push(”activateUniversalAnalytics”);Koden ovan ska placeras mitt i Universal Analytics-scriptet, efter (
ga('create'...) men innan sidvisningen skickats (ga('send', 'pageview');) att den modifierade Universal Analytics spårningskoden i din Custom HTML-tag nu bör se ut såhär:
Spara och du bör nu parallellt med din ursprungliga Universal Analytics-tag även ha en Custom HTML-tag som innehåller en Optimizely-integrerad version av din Universal Analytics spårningskod:
Notera att din data fortfarande kommer spåras som vanligt från Universal Analytics-taggen fram till att vi ställer in en ”All pages”-regel även för Custom HTML-taggen samt väljer att publicera våra förändringar.
- OBS! Om du har inställningar såsom Display Advertising Features, Enhanced Link Attribution, Cross Domain Tracking, Enhanced Ecommerce, UserID, etc. så behöver du även lägga in dem i Custom HTML-taggen. Formatet blir även för dem precis som om du kört Universal Analytics-koden direkt på sidan istället för via GTM. Du kan klistra in kod för de funktioner/inställningar du behöver härifrån.
b. Ny property i Universal Analytics (Rekommenderat)
- Detta steg är inte nödvändigt och tar lite längre tid men rekommenderas om du vill vara helt säker på att inte gå miste om någon värdefull statistik. Extra viktig blir den om du flyttar över extraspårning som vi nämner ovan. Gör såhär: a.) Sätt upp en ny property i Universal Analytics via ”Admin”>[Property-dropdown]>CreateNewProperty>”. Döp den till t.ex. ”Custom HTML Test Property”. ”b.) Hämta UA koden (UA-XXXXXXXX-Y) för denna property under Admin>Property>TrackingInfo>TrackingCode” och klistra in istället i din Custom HTML-tag istället för UA koden för din main property.
När du i nästa steg publicerar din Custom HTML-tag så börjar den skicka data till test-propertyn medan main-propertyn är orörd. Du kan när du publicerat kontrollera under en 48h-period att statistiken i main propertyn och test propertyn ser likadan ut (kom ihåg att Google Analytics har ett lagg så vänta någon dag med att kolla datan). Du kan även använda Real Time-rapporterna för att jämföra datan i dina två propertys. Du kan sedan istället för att stänga av alla avfyrningsregler för din Universal Analytics-tagg (se nästa steg) istället bara switcha UA-koderna så att Custom HTML-taggen börjar skicka sin data till din main property och Universal Analytics-taggen börjar skicka sin data till din test property.
c. Flytta regel ”All pages” från Universal Analytics-taggen till Custom HTML-taggen och publicera förändringar
- Sätt ny regel att avfyra ”All pages” för din Custom HTML-tag. Plocka bort samma regel från din Universal-tag. Publicera.
Kontrollera i ditt Universal Analytics-konto att du fortfarande får in all data. Voila! Du har nu installerat Optimizelys integrations-kod.
2. Definera ny Custom Dimension för ditt A/B-test
För att Optimizely ska kunna skicka sin A/B test data till Universal Analytics behöver du öppna en slot att skicka in datan i – denna slot är din Custom Dimension. Du behöver inte upprepa det föregående steget i denna bloggpost, när integrations-koden väl är inlagd ligger den på plats tills du tar bort den. Däremot behöver du skapa en ny Custom Dimension inuti Universal Analytics för varje nytt A/B test du kör:
- Gå till ditt Universal Analytics och din main property eller den property du vill skicka data till (det måste vara samma property som du modifierade med Optimizely integrations-koden i föregående steg). Gå till ”Property>CustomDefinitions>CustomMetrics” och klicka på ”New Custom Dimension”
- Välj ett namn för din Custom Dimension kopplat till A/B testet t.ex. ”Optimizely1: Copy Startsida”. Välj scope för din Custom Dimension och eftersom vi vill att värdet ska följa med besökaren även om de återvänder till webbplatsen utan att besöka sidorna som testas så sätt scope till ”User”. Klicka ”Create”.
- Du har nu skapat en Custom Dimension.
- Notera indexet för din Custom Dimension då du kommer använda den i nästa steg när du aktiverar integrationen i Optimizely:
3. Sätt upp ditt A/B-test och aktivera integration i Optimizely
För att slutligen börja skicka data så behöver du slå på integrationen när du sätter upp testet i Optimizely:
1. Sätt upp ditt A/B test precis som vanligt i Optimizely. Gå till Edit-mode för ditt experiment.
2. Under ”Options” gå till ”Analytics Integration”:
3. Välj ”Enable: send experiment data to Universal Analytics”. I dropdownmenyn ange sedan det index som du fick för din Custom Dimension i föregående steg av denna bloggpost. Klicka ”Apply”.
Nu är integrationen påkopplad i Optimizely för detta A/B test.
4. Starta A/B-test och kolla att du får in Custom Dimension-data
När du är redo starta A/B testet! För att kolla om du får in data till Universal Analytics:
1. Starta A/B testet i Optimizely.
2. Kolla efter några timmar i Universal Analytics om det kommit in Custom Dimension data. Enklast för att sedan kunna komma tillbaka och bevaka datan är att sätta upp en Custom Report. Gå till fliken ”Customization” till vänster om ”Admin”. Klicka på ”+ New Custom Report”. Döp din Custom Report till t.ex. ”Optimizely1: Copy Startsida”. Gå till den blå dropdown-menyn ”+ add metric” och lägg till ”Session” och ”User”. Om du vill kan du givetvis lägga till fler metrics såsom exempelvis inställda mål, pages/visit, bounce rate, etc. Gå till den gröna dropdown-menyn ”+ add dimension” och du hittar din Custom Dimension under rubriken ”Custom Dimensions”, lägg till den. När du är klar spara rapporten.
3. Öppna rapporten. Om din integration fungerar och det gått några timmar sedan du startade A/B testet bör du nu se värden som Optimizely genererat in i din nya Custom Dimension för A/B testet, ett värde för varje variation i A/B testet. Det bör se ut ungefär såhär:
Kolla så att data kommer in för alla typer av devices som borde komma in i testet samt att det kommer in ungefär lika många besökare på alla variationerna. Det är normalt att Universal Analytics och Optimizely skiljer sig i hur mycket data de får in. Däremot bör variationerna inom t.ex. Universal Analytics ha ungefär lika många users sinsemellan.
Sammanfattning / Nästa steg
Grattis! Du har nu två källor med data – dels Optimizely och dels Universal Analytics. Du har fått in Optimizelys integrationskod, satt upp en ny Custom Dimension för ditt A/B test, aktiverat integrationen inifrån Optimizely, samt startat A/B testet och kontrollerat att du får in data i både Optimizely och Universal Analytics. Nu är det bara att vänta. För att verkligen kunna kvalitetssäkra datan kommer du behöva köra testet och sedan jämföra siffrorna mellan Universal Analytics och Optimizely. Vår rekommendation för längden på ett A/B test är två säljcykler, en statistisk signifikans på minst 95% samt ett minimum av 100-200 konverteringar per variation.
I nästa del av denna bloggpost-serie kollar vi på vad du kan göra när A/B-testet startat. Vi kikar på olika sätt att enkelt jämföra datan mellan Universal Analytics och Optimizely och dra slutsatser, verktyg för att analysera signifikansen, saker att hålla koll på i datan, m.m. Läs om hur du Kontrollerar din A/B-test här, uppföljningsposten till denna!
Har du frågor som rör integreringen? Lämna en kommentar nedan.
