Jag stötte precis på problemet att jag ville starta ett nytt A/B-test (split test) för en kund, men där Control, alltså den sida jag ville utmana med mitt test, användes som Control i ett annat A/B-test som inte ännu kommit i mål.
I mitt exempel har jag använt Visual Website Optimizer, men principen gäller även om du använder ett annat testverktyg som t.ex. Optimizely eller Convert.
Hur löser du det här? Till att börja med så måste jag förklara skillnaden mellan ett A/B-test och ett split URL test.
A/B-test
En testtyp där du ändrar en eller flera saker på en och samma sida. Om du ändrar mer än en sak på sidan, så blir det ett sk multi-variate test. Ett varningens ord: om du inte har extremt mycket trafik till sidan, håll nere antalet variationer. Antalet permutationer drar iväg exponentiellt med antalet variationer, och det kan ta lång tid innan ditt test går i mål.
En bra regel är att använda någon kalkylator för ändamålet, som räknar ut hur lång tid ditt test beräknas ta. Visual Website Optimizer har t.ex. sin kalkylator här: http://v2.visualwebsiteoptimizer.com/tools/test_duration_calculator.php
Split URL test
Ett test där du har två olika landningssidor. Du har den existerande sidan, och en utmanare. För det mesta vill du skicka 50% av trafiken till respektive sida.
Den här typen av test vill du köra om du i din utvärdering av den existerande sidan har upptäckt en rad olika brister som kan inverka negativt på konverteringen. I det fallet blir det ofta enklast att bygga en helt ny sida, än att försöka modifiera den existerande.
Ok, nu vet du skillnaden mellan ett A/B-test och ett split URL test. Nu till beskrivningen av de två tester jag vill köra mot samma landningssida. Och som du nu kanske redan har räknat ut så är båda testerna split URL tester, där en av variationerna i respektive test går mot samma landningssida:
Test 1: test som redan ligger uppe
Det test som redan ligger och snurrar, och som ännu inte har uppnått statistisk signifikans för konvertering. Dock har det redan vunnit i engagement (som är motsatsen till bounce rate).
Control: index.html
Variation: test1.html
Test 2: det nya testet som jag vill starta
Kunden har precis startat en ny bannerkampanj, och jag har byggt en landningssida med samma utsseende och budskap som kampanjen. Vi brukar prata om “att behålla vittringen” mellan sök/annons och landningssida, så besökaren möts av samma budskap/utseende på landningssidan som i sökresultatet/annonsen.
Control: test2.html
Variation: index.html
Notera att jag använder test2.html som Control. Det här är viktigt. Om jag hade använt index.html som Control för båda testen så hade mitt testverktyg inte vetat vilket av testerna som jag ville köra.
Men, nu kommer vi till ett annat problem. Besökare kommer till Test 2 och 50% kommer att dirigeras till index.html. Hur gör jag så att Test 1 inte kickar in och i 50% av fallen skickar besökaren till test1.html?
Lösningen heter cookies
Alla testverktyg fungerar på så sätt att de sätter cookies hos besökare som deltar i ett test. Dels sätts en cookie som talar om vilket test dom är med i, och det sätts en annan cookie som säger vilken variation som dom blev exponerade för. Detta görs så att om samma besökare kommer tillbaka till sidan, så ska dom alltid presenteras med samma variation som dom landade på förra gången.
För att se vilka cookies som skapas i ditt test, så rekommenderar jag dig att installera ett mycket bra plugin till Chrome som heter Edit this Cookie.
Här ser du en skärmdump där jag har öppnat upp verktyget när besökaren först har kommit till Test 2 på sidan test2.html och sedan skickats vidare till index.html.
Den cookie som vi letar efter heter (eftersom jag använder Visual Website Optimizer) _vis_opt_exp_3_split. Den har en trea i sig för att Test 2 har test-id 3. Och cookien har värdet 2. Det betyder att jag som besökare deltar i testet med id 3, och har blivit exponerad för variation 2 (index.html) i det testet.
Nu går jag in i Test 1 och lägger till en segmenteringsregel för testet. I mitt segment (se skärmdump), så väljer jag: Cookie Value som segment, _vis_opt_exp_3_split som variabel, is not equal to (case insensitive) som segmenteringsregel och i fältet för värde så matar jag in 2.
Det betyder att besökare som har en cookie som heter _vis_opt_exp_3_split med värdet 2 har varit i test 2 och skickats till variation 2: index.html. Vi exkluderar alltså de här besökarna från Test 1, så att inte 50% av dom skickas till test1.html.
Hoppas du hängt med så här långt, det kan vara en del att veckla sin hjärna runt, men när det väl sitter så är det inte så svårt.
Som avslutning så får du en länk till en sida som förklarar alla cookies som används av Visual Website Optimizer.
Hjälpte den här bloggposten dig i ditt konverteringsarbete? Har du några frågor? Skriv en kommentar.
