A/B testning som också kan kallas för split-test är en metod för att testa vad som engagerar mottagaren mest. A/B testet består av två varianter av samma asset (t.e.x en sida på webbplatsen eller ett E-mail) och testas på två olika slumpmässigt blandade grupper. Det som skiljer varianterna åt beror på vad det är ni vill testa, men det kan exempelvis vara ämnesraden i ett mail eller kanske CTA texten på knappen i en sida på webbplatsen.
Du kan egentligen testa det mesta men här kommer lite exempel och förslag på A/B testning av Email innehåll:
För att optimera open-rate:
Ämnesraden
Användning av dynamiska taggar i ämnesraden
Preview text
Veckodag eller klockslag för att skicka ut ett mail
Utskicks frekvens
Avsändare (Personligt vs. generelt)
Utskick frekvens
För att optimera click-rate:
Texten på CTA
Färgen på olika element som exempelvis knappen
Längre vs. kortare innehåll
Användning av bilder
Användning av dynamiska taggar
Det är viktigt att tänka på när du utför ett A/B test att inte testa mer än ett element per test. Om du testar flera saker samtidigt så kommer du omöjligt kunna veta vad det var som antingen förbättrade eller försämrade era resultat. Då blir det också omöjligt att fortsätta optimera era utskick.
En annan viktig aspekt är mätbarhet, dvs hur ska ni mäta? Vilken data ska användas?
Kan kännas självklart men det är ofta man sätter upp ett komplext test och sen vet man inte vad resultatet faktiskt blev.
Exempelvis: Man vill optimera klick på mail. Eller? Det man EGENTLIGEN vill är att optimera konvertering, och klick från mail genererar trafik till landningssidan. Man kan göra mailet super klick-bait:igt och generera massa klick, men de kommer inte köpa. Däremot om vi har ”rätt” mål att gå efter, kan man mäta vilken variant genererade mest konverteringar oavsett klicken.
Det finns även något som heter control group. Detta är när man inte skickar ut en viss kampanj eller någon marknadsföring alls till en slumpmässigt blandad grupp. Control group kan fungera som B:et i A/B testet eller helt enkelt bli en tredje del.
Med hjälp av control group så kan man se om marknadsföringen ni gör hjälper eller stjälper. Kan det vara så att er control group som inte fick ta del av en viss kampanj faktiskt konverterade bättre?
Multivariat test är ännu ett sätt att testa och konverteringsoptimera. Det som skiljer multivariat test med A/B test är att man jämför fler variabler och ser hur dessa interagerar med varandra. Det kan exempelvis gå till såhär:
Variant A: testar knapp nr 1 och ämnesrad nr 1
Variant B: testar knapp 2 och ämnesrad nr 1
Variant C: testar knapp 1 och ämnesrad 2
Variant D: testar knapp 2 och ämnesrad 2
Det är viktigt att ni inte ser på resultatet som ett svar utan att ifrågasätta resultatets statistiska signifikans.
Statistisk signifikans är hur sannolikt det är att skillnaden i resultatet mellan de olika versionerna inte beror på fel eller slumpen.
För att sammanfatta det så vill du att resultatet ska vara statistiskt signifikant så att du vet att du väljer rätt version från ditt test att gå vidare med.
Det finns flera olika verktyg för detta på nätet, vi brukar använda oss av den här.
Vilket test passar bäst för ditt ändamål? A/B eller multivariat?
Ska det finnas med en control group?
Vad ska testa?
Hur ska ni mäta?
Vad är målet med testet?
Vad kommer ni göra med resultatet?
När är slutdatumet på testet?
Hur räknar vi ut resultatets statistiska signifikans?
Har ni en bra dokumentation för vilka test som är genomfört för att bygga vidare på er strategi istället av att upprepa test av samma hypotes?