Klassiska statistiska beräkningar (inklusive A/B-tester) baseras enkelt sett på att urvalsstorleken är bestämt på förhand. Därav vikten av att använda verktyg så som Sample Size Calculator som först drar och analyserar resultatet när du fått in beräknad mängd data.
Utan den metoden riskerar du att stoppa testen för tidigt och får då ett resultat som är falskt positivt, alltså att du uppmät en förändring som faktiskt inte existerar. Falsk-positiva förändringar vid A/B-testning är troligtvis ett av de vanligaste misstagen som uppstår hos företag som utför A/B-tester.
Aggregerad data från Optimizely visade på att många tester stoppas i förtid. Den nya statistiska motorn har använts retroaktivt på den aggregerade datan och visat sig vara fem gånger bättre på att utse en korrekt vinnare. Verktyget kommer alltså inte visa tillfälliga statistiska toppar som statistisk signifikanta, vilket är bra.
Optimizely har kombinerat sk. sequential testing och falsk-negativa kontroller med i Stats Engine för att redovisa korrekta resultat oavsett hur stor din urvalsstorlek är.
Stats Engine kommer (förhoppningsvis) minska risken att utse en testvinnare eller testförlorare som inte är korrekt utan att kräva mer tid för själva testet.
Optimizely har anpassat den statistiska motorn i sitt verktyg för att hjälpa individer som inte är statistiker att fatta bättre beslut.
Den nya statistiska motron, Stats Engine, kommer vara standard för alla tester som startas efter nästa vecka.
Se videon som förklarar Stats Engine
Teknisk specfikation med matematiken bakom Stats Engine
