Stäng Huvudmeny

Därför ska du INTE A/B-testa i december

A/B-testning E-handel

Låt oss i god tid rädda dig från att A/B-testa i december. Att A/B-testa är ett av de kraftfullaste verktygen för att optimera din hemsida, men det finns flera saker att tänka på för att lyckas. Eller för att inte totalt misslyckas.

Konstanta Optimerare,

Vilken tur att du läser detta, det kommer att göra dig till en hjälte på kontoret. Du kommer nämligen rädda ditt företag från förlorad tid, felaktiga beslut och tappade kunder. Bra va?

Vi använder december som ett tydligt exempel på avvikande användarbeteende, inte minst för e-handel. Tankesättet gäller alla.

OBS: Du kan A/B-testa i december, men läs posten först.

Anledningen till varför det är en dålig idé att testa i december:

Trafiken ÄR avvikande

Låt oss titta på två trafikrapporter, närmare bestämt Audience Overview och E-commerce Overview. Det spelar mindre roll vems GA vi tjuvkikat i, stora Svenska e-handlare räcker som referens.

Kolla på trafiken i december:
A/B-testa inte i december

Okej, ett starkare case: titta på den här puckeln alltså:

A/B-testa inte i december

Ytterligare ett, häng med:

A/B-testa inte i december

Sidenote: för dig som kör GA på svenska, byt till engelska på en gång, när du stöter på problem och behöver googla kommer du få hundra gånger mer hjälp på engelska.

Är inte mer trafik bra?

Nej, inte under de förhållandena.
Lås oss förklara.

Om du driver en e-handel har du, surprise, med stor sannolikhet en trafik- och konverteringsspik i december som är unik för året. Du älskar den här spiken.

BOOM vad mycket du säljer.
Du tänker ”Låt det vara så hela året – Låt oss ta lärdomar från denna tid; testa användarna och se vad som får dem att konvertera?”

Nej. Nej nej nej.
För att det ska gälla ska följande också vara sant:

Dina besökare är representativa för din målgrupp
Dina besökares beteende är representativt för övriga året
Du har inga yttre faktorer som påverkar beteendet

Mer trafik kommer med största sannolikhet ge signifikanta testresultat som är valida, för JUST DEN perioden och SPECIFIKT DET användarbeteendet.

Ett exempel:
Ditt företag kör 3 för 2 (konverterar för övrigt bättre än 33%) på utvalda produkter, för att pusha det trycker företaget ut en stor tv-kampanj. Samtidigt har IT just implementerat en ny betalningsmetod. Sen får du också reda på att kollegan på marketing kör remarketing på Facebook.

Du A/B-testar knappfärg (vilket för övrigt är ett dumt men enkelt test, det handlar snarare om kontrast) och får ett signifikant resultat, den orangea vinner! Yey. Tv-kampanjen upphör, er Adwords-budget tog slut halvvägs in i testet och där står du med en orange knapp som inte längre konverterar så bra. Det skulle visa sig att besökarnas avsikter och beteende var helt annorlunda än det normala.

Resultatet är sant, men bara under de specifika förhållandena.

Vad innebär det för din optimering?

Dina besökare beter sig annorlunda under julruschen. Tester i december kommer ge dig insikt i julkampanjer, men vill du verkligen generalisera dina findings och rulla ut med dom efter julen? Troligtvis inte.

Så du behöver med stor sannolikhet köra om dina test i januari i alla fall.

Eller om du säljer gymkort online, samma sak fast spik i januari.
Utlandsresor, regnveckan i höst.
Osv osv. Du fattar vad vi menar?

Ta lärdom till nästa jul?

Nu tänker du, ”Ah, men det jag upptäckte den här julen kommer gälla nästa jul. Låt oss optimera för spiken nästa år!” Inte alls omöjligt men inte så fort, din affär och bransch kan se helt annorlunda ut då.

Det finns en anledning till varför A/B-tester inte ska pågå för länge.

Beteenden online förändras över tid, och påverkas av yttre faktorer. Därför är optimering och A/B-testning ingen engångsföreteelse utan ett löpande projekt. På samma sätt, vinnande version idag kanske inte är den vinnande om 1, 2 eller 3 år.

Ett riktigt case

Vi ökade försäljningen med 6% i ett projekt med Swedoffice, det var resultatet av flera tester, envishet och noggranna analyser.

Första testet startade i november, gick i mål men resultatet gav ingen uplift. Vi justerade hypotesen efter en viktig insikt och hade nu en riktigt genomarbetad hypotes.

Det andra testet startade i december. Testet gick i mål i januari, trafiken hade ökat men resultatet var varken signifikant eller visade på någon skillnad. Försäljningen stod stilla både i original- och testversion.

I och med att vi var medvetna om att vi testade över julveckorna och däri hade avvikande beteenden, tog vi i analysen hänsyn till det.

Eureka! Det var B2B e-handel. Och det var jul-tider.
Vi plockade bort specifikt julveckorna ur testet och kollade bara på trafiken innan och efter jul, – och DÅ kunde vi identifiera en beteendeförändring.

Besökarna ska vara representativa för målgruppen
Besökarnas beteende ska vara representativt för övriga året
Det finns inga yttre faktorer som påverkade beteendet

Ok, du fattar. Men vad ska du göra istället?

Läs denna bloggposten: Mobil e-handel: Julens just f*ign do it.

Om du ska testa i december, se till att ha din testplan klar, se det här underbara spreadsheetet! ”Vanliga” tester pågår fram till 1 december, sen vidtar ”jul”-tester.

A/B-testplan

Leverans innan den 24e?

Förra året gjorde vi en undersökning av Svenska e-handlare och hur väl de optimerat dagarna innan jul, för det kritiska momentet ”leverans innan jul”.

Optimerad kommunikation: Så här bemöter du leverans-oron i december
Paket leverans julFoto: Postnord – E-barometern Q3 2014

Bli bättre på A/B-testning

Utbilda dig till Conversion Manager och lär dig CRO.


Simon Dahla Om Simon

Simon är en digital inföding och har jobbat med webb (aka the intrawebz) sedan barnsben. Han har tidigare jobbat här på Conversionista som en experimentninja - han älskar att A/B-testa.

Få gratis konverteringstips

Anmäl dig till vårt nyhetsbrev

Nyhetsbrev

Lär av…

Kundcase Mathem✻ Guldkorn
✻ Mallar och metoder
✻ A/B-tester och resultat
Lär av case

Kan du göra lika?

Se kundcase Se kundcase✔︎ Analys & webbpsykologi
✔︎ A/B-tester & resultat
Se alla case

Få platser kvar till flera seminarier

Anmäl dig till seminarium ✔︎ Webbpsykologi & verktyg
✔︎ A/B-testning & Google 360
✔︎ Snacka med experterna

Flera tillfällen i vinter

Säkra din plats

Spara 1000 kr

Conversion Jam 2017

Missade du?

Världens största CRO-event

Spara 1000 kr på din biljett till CJAM8

Du, kontakta oss!

Kontakta oss
Gitte eller hennes awesome kollegor hjälper dig.