Vad är din konverteringsmognad? Lär dig av de bästa.

Chris Goward

Chris Goward Conversion JamI den här bloggposten av Widerfunnel hittar du 6 nyckelinsikter från rapporten ”State of Experimentation Maturity 2018″. Vi har valt att göra en något förkortad svensk översättning av bloggposten.

Psst! Grundaren av Widerfunnel, Chris Goward kommer till Conversion Jam i september. Han kommer att dela med sig av sina bästa tips på hur du skapar en högoktanig experimentmotor som pumpar ut resultat på resultat och boostar din tillväxt.

Idag förstår framgångsrika företag att experiment är mycket mer än ett A/B-test på en landningssida. Ledningarna på företag som Amazon, Netflix, Google, Walmart och Microsoft använder sig av experiment som en grundläggande tillväxtstrategi och testar över hela kundresan. Andra företag följer snabbt efter för att undvika att hamna efter.

Men vad karaktäriserar de företag som är framgångsrika i sitt experimenterande? Vad gör de annorlunda? Vad gör de bättre? Vad är de mest fokuserade på?

Vi bestämde oss för att hitta datastöd för våra antaganden om ”experimenteringsmognad” med en omfattande forskningsrapport. Tillsammans med våra partners på Optimizely undersökte vi marknadsförare, produktchefer och tillväxtstrateger hos några av Nordamerikas ledande varumärken så som Nike, United Airlines, Showtime, American Express, Hotwire.com, MailChimp och många fler.

Vi ville veta:

  • Vilka är delarna i ett moget experimentprogram?
  • Vad är det perfekta tillvägagångssättet för framgångsrika experiment?
  • Vad är statusen för experimenterande bland mogna varumärken?

Och resultaten är ögonöppnande.

I det här blogginlägget hittar du en översikt av 6 nyckelinsikter från rapporten ”State of Experimentation Maturity 2018”. Samt en analys av hur dessa insikter påverkar organisationer som vill skala sina experimentprogram.

Hämta den fullständiga forskningsrapporten för mer djupgående benchmarking-data, information om hur studien genomfördes och verktyg för att hjälpa dig att bygga ett business case för att skala ditt optimerande från en ”experimentlåda” till en företagsstrategi.

5 nivåer av experimenteringsmognad

Studien visade att det går att dela in företags experimentmognad i fem nivåer

Nivå 1: Initiera

Organisationer på detta stadium håller på att dra igång. En optimeringsentusiast arbetar för att få sina första bevis på värdet av ett experimentprogram.

Nivå 2: Bygga

I det här skedet har företaget köpt in på värdet av experiment och optimeringsentusiasten eller ett team etablerar processer och bygger infrastruktur för att skala programmet.

Nivå 3: Samarbeta

Organisationer på detta stadium utökar experimentprogrammet och samarbetar över flera team. Att slutföra en kommunikationsplan och en övergripande standard för programmet är en prioritet här.

Nivå 4: Skala

Här är experiment en kärnstrategi. Standarder finns på plats och nyckeltal är synkade med övergripande affärsmål, vilket möjliggör testning i större skala.

Nivå 5: Driva

Den högsta mognadsnivån. Experiment är kärnan i organisationens tillväxt- och produktstrategi. Här hittar vi Amazon, Netflix, och Booking.com.

6 nyckelinsikter från rapporten

I följande avsnitt redovisas 6 nyckelinsikter från forskningsrapporten.

1De flesta svarande skrapar fortfarande på ytan när det gäller experiment.

Experimenterande hos de flesta organisationer är fortfarande på ”kryp-stadiet”. Noll procent av de svarande uppnår den högsta mognadsnivån i denna rapport.

50% av de svarande är på de två lägsta nivåerna av experimentmognad.

Hälften (50%) av de svarande är fortfarande i de två första stadierna av mognad och 33% är i det tredje stadiet. Ingen av respondenterna i denna rapport har nått den högsta nivån.

2De flesta organisationer planerar att öka experimenteringshastigheten (bokstavligen) de närmaste 12 månaderna, vilket indikerar att strategin tar fart.

Det finns självklart mycket kvar att göra, men experimenterande börjar på allvar ta plats som en värdefull strategi. För att upprätthålla momentum strävar de flesta ”optimerare” som deltagit i denna rapport till att öka sin testhastighet.


”En stor andel av experimenten vinner inte. Ökad testhastighet (antal test per sajt per månad / vecka) kommer i slutänden att generera mer framgång på grund av de stora talens lag” – Hudson Arnold, Senior Strategy Consultant på Optimizely

Faktum är att majoriteten av både små och medelstora företag (52%) och stora företag (64%) planerar att öka experimenthastigheten de närmaste 12 månaderna. Inte en enda respondent i denna undersökning planerar att minska experimenthastigheten nästa år.


Majoriteten av respondenterna planerar att öka experimenthastigheten de närmaste 12 månaderna.

Key Takeaway

Det finns flera faktorer som påverkar en organisations förmåga att experimentera med hög hastighet, till exempel:

  • Urvalsstorlek – Antalet personer i ett givet test kommer att påverka hur lång tid testet tar att slutföra (för statistisk signifikans)
  • Resurser – hur effektiva är dina verktyg och hur skickligt är ditt optimeringsteam?
  • Arbetsflöde – hur enkelt går det att gå från steg till steg när du utformar och startar ett experiment?


”Att bestämma när man ska avsluta ett experiment handlar inte bara om urvalsstorlek. Du måste också överväga din befintliga konverteringsgrad och elasticiteten hos besökarnas beteende vad gäller ditt primära konverteringsmål i förhållande till urvalsstorlek” – James Flory, Optimerings-strateg på WiderFunnel

3Hos 63% av de mer mogna organisationerna är ledningsgruppen inblandade i formuleringen av mål & nyckeltal för experimenterande, vilket pekar på engagemang på ledningsnivån.

Mått på framgång och viktiga KPIer säkerställer att optimerare hålls ansvariga för att bidra till affärsmål och driva verklig tillväxt, vilket säkerställer strategins livskraft.

När ledningsgruppen är inblandad i skapandet av dessa mätvärden är experiment kopplade till de mål de bryr sig om, och experimentprogrammet har synlighet på den högsta nivån i en organisation.


100% av organisationerna på ”Skala” -nivån har mål & nyckeltal för experimenterande. I 63% av fallen har chefer varit inblandade i att sätta dessa nyckeltal.

Det faktum att ledningsgruppen i 63% av de mer mogna organisationerna är inblandade i att sätta mål & nyckeltal för experimenterande, visar på en investeringsvilja och i ännu högre grad strategins långsiktiga betydelse.

Men, när vi analyserade hela respondentpoolen upptäckte vi att mindre än 50% av respondenterna har mätvärden på toppnivå.


För majoriteten av företagen är ledningsgruppen inte inblandad i att sätta mål & nyckeltal för experimenterande.

Utan förankring på toppnivå kan optimeringskämpar få problem med att dela resultat och lärdomar, skaffa resurser och skala experimentella insatser i hela organisationen.

Key Takeaway

Involvera din ledningsgrupp i skapandet av mål & nyckeltal för ditt experimentprogram. Detta gör att du kan:

  1. Se till att experiment är kopplade till de mål dina chefer bryr sig om.
  2. Se till att ditt program har synlighet på högsta nivå i din organisation.


”Om din ledning inte har någon input till målen med ditt experimentprogram, kanske du kör experiment på mål som de inte bryr sig om – det är inte riktigt viktigt för verksamheten.”
– Nick So, Director of Strategy vid WiderFunnel

4En ”kombinationssmodell” för ditt experimentprogram kan bana en väg till experimentmognad

Experimenterandet kan ofta inordnas i en av följande organisationsstrukturer:

  • Decentraliserad: Optimerare finns i olika grupper över hela organisationen. Varje team formulerar strategier och utför experiment enligt sina egna KPIer eftersom de är positionerade för att nå större organisationsmål. I denna modell finns inget centralt team.
  • Centraliserad (Center of Excellence): Vanligt förekommande i företag där enskilda team har egna webbplatser eller domäner. Ett centralt team äger experimentering över hela verksamheten och uppmuntrar till ökad kompetens och utbyggnad av programmet.
  • En kombinationsmodell: När det finns ett gemensamt ägande av digitala initiativ så arbetar en central organisation med alla relevanta intressenter. Med att prioritera och planera för experiment. Men enskilda team äger att genomföra testerna.

Det finns fördelar och nackdelar för varje struktur och optimerarna måste ta reda på vad som bäst fungerar för deras organisation och deras unika kultur.

Medan ett decentraliserat program kan möjliggöra hög testningshastighet, utan standarder och central översyn, finns det risk för att team kommer att kollidera, kannibalisera varandras mål och dra in olika riktningar istället för att driva organisationen i en gemensam riktning.

Ett centralt team kommer sannolikt att ha hela kundresan i åtanke och kan prioritera och leverera experiment som fokuserar på de viktigaste delarna i affären. Men det är oklokt att anta att ett centralt team kommer att ha det nödvändiga djupet av expertis att skapa vinnande experiment i alla delar av verksamheten.


58% av de mest mogna organisationerna i denna rapport använder en kombinationsmodell för experiment.

En kombinationsmodell försöker kombinera det bästa av båda världarna och används av 58% de mest mogna organisationerna.

…och det fungerar. Vi hittade en korrelation mellan högre experimenthastighet och kombinationsmodellen.

I kombinationsmodellen finns det ett gemensamt ägande av digitala initiativ. En central organisation arbetar med alla relevanta intressenter för att prioritera och planera för experiment. Men enskilda team har möjlighet att äga och genomföra tester.


52% av organisationer som kör experiment med hög hastighet använder en kombinationsmodell vilket visar hur flexibel modellen är.

”Medan ett centralt optimeringsteam kan vara kännetecknet för ett moget experimentprogram, är det inte förvånande att en kombination av båda team-strukturerna är mest effektiv.

Det visar verkligen på samarbetet som krävs för att uppnå experimentmognad. Oavsett hur avancerat det centrala teamet är kan det inte nå sin fulla potential om de saknar buy-in från andra team och affärsenheter.

Medan det centraliserade teamet bör fungera som kärnan i experimenterandet, är en del av arbetet att sprida tankesättet i hela organisationen. De bör inte vara den enda isolerade delen i en hel organisations experimenteringsaktivitet.” förklarar Nick So.

5Mogna organisationer tenderar att allvarligt överväga en experimentidé som stöds av bevis.

95% av organisationerna på den högsta mognadsnivån i denna rapport – Skala – Håller med om att alla experimentidéer beaktas seriöst så länge som det finns bevis som stödjer dem.

Det innebär att fler personer kan lämna potentiella testidéer för övervägande så länge de har en solid datadriven bas.

Det betyder också att fler personer har tillgång till data, inklusive experimentresultat för att forma solida hypoteser och för att driva sina experimentprogram.


…men ⅓ (32%) av de totala respondenterna är neutrala eller oense med det uttalandet.

Dessa organisationer kan missa vinnande experimentidéer – Eftersom ingen person eller enskilt team i en organisation kommer att ha tillräckligt djup kompetens vid varje beröringspunkt inom kundresan.

Mogna experimentorganisationer förstår att varje medlem i ett företag kan ha en lysande idé att testa för att förbättra kundupplevelsen.

”Varje avdelning bör uppmuntras att lägga fram idéer för experiment. Men detta bör bara göras när man är säker på att man stänga feedbackloopen och ge en förklaring till varför en idé godkänds eller förkastas.

En ofullständig feedbackloop – där människors idéer går vilse i ett svart hål – är en av de mest skadliga sakerna som kan hända med en experimentkultur.

Fram till dess att en feedbackloop kan etableras är det bättre för ett mer isolerat testteam att bevisa värdet, utan att stressfaktorer som orsakas av andra delar av organisationen blir involverade.” – Mike St Laurent, senior optimeringsstrateg vid WiderFunnel

Utmaningen för dessa organisationer när de försöker att skala experimenterandet är att skapa ett system som utbildar alla om programmet, som kräver datadrivna bevis för alla idéer, och som har en sluten feedbackloop för hypotes-värdering.

6Organisationer är tydligt inriktade på resurser för webbutveckling och QA-kompetens.

När man bygger ett team för optimering är organisationer på varje mognadsnivå väldigt fokuserade på webbutveckling och QA (kvalitetskontroll). Denna kompetens är viktig för att försäkra att variationer i experiment kan kodas och kvalitetstestas före lansering. Samt att vinnande variationer snabbt kan kodas.


Experter inom webbutveckling och QA är överlag mycket högt efterfrågade.

De andra kompetenserna – Design, Experimentstrategi, Data Science & Analytics samt Projektledning – är mycket lägre prioriterade för alla undersökta respondenter. Resurser för design och experimenteringsstrategi är endast lite mer föredragen än resurser för analytics och projektledning.

Mogna organisationer är emellertid också väldigt fokuserade på att anställa experimentstrateger

Medan webbutveckling och QA-kompetens är en prioritet för alla undersökta organisationer är organisationer på mognadsnivån ”skala” lika fokuserade på experimentstrategi.

Respondenterna i denna kategori rapporterade dubbelt det genomsnittliga antalet teammedlemmar som deltog i ”Experimentation Strategy” i förhållande till de andra mognadsnivåerna.

Detta fokus på strategi tyder på att mogna organisationer anställer experter som har en förmåga att kombinera olika produktledningskunskaper. Bland annat förmågan att definiera krav, att samarbeta med team och olika intressenter samt att utföra experiment med analytisk noggrannhet. Dessutom som har förmågan att tolka testresultaten korrekt, bedöma testers varaktighet och att äga experimentmodellerna.


”Att få rätt optimeringsteam på plats är viktigt. Jag tror mycket handlar om att evangelisera experiment i hela organisationen. Att göra det på ett sätt som inte är ”in your face” är klokt. Att göra det på ett känslomässigt, intelligent sätt.

När jag byggde mitt team var känslomässig intelligens en extremt viktig faktor – det handlade inte bara om tekniska möjligheter och färdigheter. Det har bidragit mycket till framgången.” – Lauren Schuman, Director of Growth på MailChimp

Ledande varumärken ser experimenterande som en strategi för att möjliggöra en transformation av affären. Vår rapport visar emellertid tydligt att de flesta företag fortfarande befinner sig i de tidiga stadierna av mognad.

De mest mogna organisationerna gör enorma vinster när det gäller att få hela organisationen att köpa in och skapa en experimentkultur. Dessa organisationer har antagit ett ”testa och lär” tankesätt.

I stället för att agera på magkänsla bygger de datadrivna strategier med experiment i centrum för varje ny produkt eller funktion. Deras ledning har anammat ”You-should-test-that”-filosofin och tillämpar den över hela kundresan. Detta leder till mer utvecklade, mer engagerande kundupplevelser.

Och när konkurrensen är så här hård är frågan du måste ställa dig: Hur ligger jag till??

Chris Goward Conversion JamMissa inte inte Chris Goward på Conversion Jam

Building an Experimentation Engine that scales

Many organizations get excited about A/B-testing. Get some early wins, attract more people to join the team, and convince management to invest in cool new tools.
Then, they hit a plateau. No more easy wins. 😭 Chris will share his insights on how you escape the plateau, accelerate growth and produce a high-octane experimentation engine that pumps out never ending results.

Läs även

Conversionista is open for business in The Netherlands.
Conversionista is open for business in The Netherlands. Read more.