Stäng Huvudmeny

Optimizely släpper Stats Engine – en ny beräkningsmodell för A/B-tester

A/B-testning Webbanalys

Klassiska statistiska beräkningar (inklusive A/B-tester) baseras enkelt sett på att urvalsstorleken är bestämt på förhand. Därav vikten av att använda verktyg så som Sample Size Calculator som först drar och analyserar resultatet när du fått in beräknad mängd data.

Utan den metoden riskerar du att stoppa testen för tidigt och får då ett resultat som är falskt positivt, alltså att du uppmät en förändring som faktiskt inte existerar. Falsk-positiva förändringar vid A/B-testning är troligtvis ett av de vanligaste misstagen som uppstår hos företag som utför A/B-tester.

Aggregerad data från Optimizely visade på att många tester stoppas i förtid. Den nya statistiska motorn har använts retroaktivt på den aggregerade datan och visat sig vara fem gånger bättre på att utse en korrekt vinnare. Verktyget kommer alltså inte visa tillfälliga statistiska toppar som statistisk signifikanta, vilket är bra.

stats-engine

Optimizely har kombinerat sk. sequential testing och falsk-negativa kontroller med i Stats Engine för att redovisa korrekta resultat oavsett hur stor din urvalsstorlek är.

Stats Engine kommer (förhoppningsvis) minska risken att utse en testvinnare eller testförlorare som inte är korrekt utan att kräva mer tid för själva testet.

Optimizely har anpassat den statistiska motorn i sitt verktyg för att hjälpa individer som inte är statistiker att fatta bättre beslut.

Den nya statistiska motron, Stats Engine, kommer vara standard för alla tester som startas efter nästa vecka.

Se videon som förklarar Stats Engine


Stats Engine

Teknisk specfikation med matematiken bakom Stats Engine

Läs hela artikeln på Optimizelys blogg


Simon Dahla Om Simon

Simon är en digital inföding och har jobbat med webb (aka the intrawebz) sedan barnsben. Han har tidigare jobbat här på Conversionista som en experimentninja - han älskar att A/B-testa.

Få gratis konverteringstips

Anmäl dig till vårt nyhetsbrev

Nyhetsbrev

Lär av…

Kundcase Mathem ✻ Guldkorn
✻ Mallar och metoder
✻ A/B-tester och resultat
Lär av case

Kan du göra lika?

Se kundcase Se kundcase✔︎ Analys & webbpsykologi
✔︎ A/B-tester & resultat
Se alla case

Få platser kvar till flera seminarier

Anmäl dig till seminarium ✔︎ Webbpsykologi & verktyg
✔︎ A/B-testning & Google 360
✔︎ Snacka med experterna

Flera tillfällen i vinter

Säkra din plats

Spara 1000 kr

Conversion Jam 2017

Missade du?

Världens största CRO-event

Spara 1000 kr på din biljett till CJAM8

Du, kontakta oss!

Kontakta oss
Gitte eller hennes awesome kollegor hjälper dig.