Skulle du få en större budget om du kunde visa att ditt CRM- och MA-arbete direkt bidragit till 1 miljon kronor mer i försäljning, en högre retention på 20% och 10% fler cross-sales? Självklart skulle du det! 

Att använda (och förstå) kontrollgrupper är avgörande för att bevisa effekten av marknadsföringen. Rädslan för att “tappa försäljning” är bara en myt. Det enda du blir av med är ovissheteten och det du får är ett kvitto på hur ni presterar.

I det här inlägget delar jag med mig av hur du effektivt använder dig av kontrollgrupper i Braze.

TL;DR 

• Kontrollgrupper bevisar effekten och förbättrar kommunikationen.
  
  
• Att använda Conversion Events (t.ex. purchase) låter dig göra analyser på annat än bara klick och opens och förbättrar hur användbara kontrollgrupper är.
  
  
• Läs resultatet: fatta beslut utifrån uplift % och resultat som är  statistiskt signifikanta.
  
  
• Logga varje test och kör månadsvis genomgångar med ditt team för att diskutera resultaten och dra lärdomar.
  
  

Varför man behöver ha kontrollgrupper

En kontrollgrupp är ett slumpmässigt urval av ditt segment som inte kommer få din kommunikation, om det nu är i en Campaign eller en Canvas. Braze sköter själv urvalet och ser till att det är ett slumpmässigt urval.

Med hjälp av en kontrollgrupp kan du se effekten av den enskilda kampanjen eller resan. Teorin är väldigt enkel. En del av ditt segment hade ändå, oavsett din kommunikation, gjort det du vill mäta (må det vara köp, lyssningar, inloggningar eller vad som helst annat). Att mäta skillnaden mellan kontrollgruppen och resten av segmentet ger dig en bild av hur effektiv din kampanj eller resa är.

Tre skäl att alltid använda kontrollgrupp

1. Se effekten – du ser om kampanjen/resan får användarna att “konvertera” eller om de hade (eller inte) gjort det ändå.
2. Lär er snabbare – genom att se effekten av er kommunikation kan ni som team och organisation optimera efter fakta, inte känsla.
3. Budget­optimering – sluta lägga tid och energi på kampanjer som aldrig fungerar och fokuser på nya saker eller förbättra det som fungerar.
   
   

Att använda kontrollgrupper i Canvas & Campaigns

Braze ger dig två sätt att använda kontrollgrupper – Control Groups i enskilda Canvas/Campaigns och Global Control Group (som du kan läsa om här). Så här slår du på kontrollgrupper i Campaigns och Canvas.

Canvas

1. Definiera först ett eller flera Conversion Event (t.ex. purchase). Det är dessa mätpunkter som Braze sen använder för att visa skillnaden mellan dina variationer (ben i resan) och kontrolgruppen.  

2. I en Canvas, välj + Add Variant och sen Add Control i byggaren som du kommer till genom Build Canvas-steget. 

3. Tryck på den nya varianten för att få upp menyn och sätt ange en passande procent, t.ex. 10 % till att börja med. Mer om hur du bestämmer en storlek i nästa sektion.

Campaign

1. Under Target Audiences ställer du in om du vill ha en kontrollgrupp och dess storlek i procent.
2. Nästa steg är att under Assign Conversions göra just det. Här kan du välja upp till fyra Conversion Events.

Räkna fram rätt storlek på kontrollgruppen

Så vilken storlek behöver kontrollgruppen ha för att ge ett (statistiskt) betydelsefullt svar? Ja vi kan börja med med några höftningar för att få en känsla.

Men det här är långt från hela svaret. Storleken beror inte bara på antalet som kommer in i en Canvas utan också konverteringsgraden för de Conversion Event vi valt, hur stor skillnad i resultat du vill kunna mäta samt hur länge du har att vänta på att få ett svar.

Om konverteringsgraden är lägre behöver vi en större volym. Om vi vill kunna se en mindre förändring, låt oss säga på 5-10 % så behöver vi en större volym och vice versa. 

Kom ihåg att det inte är procenten i sig som är viktigt utan antalet det representerar. 

Ett bra verktyg jag själv använder är Optimizelys A/B test sample size calculator. Låt oss ta ett räkneexempel för att illustrera siffrorna och vilka val det ställer dig som marknadsförare inför:

Philles Fisk säljer fiskespön och vet att de i sina generella kampanjutskick konverterar runt 1 % (köp). De har aldrig tidigare använt kontrollgrupper. Nu planerar de en ny kampanj och vill också använda en kontrollgrupp.

De tänker att om deras utskick har någon effekt mot att inte skicka något alls borde det vara över 20 % så de väljer minsta detekterbara effekt (MDE) 20 %. De vill också vara rätt så säkra att det inte är slumpen som orsakat resultatet och väljer därför att sätta den statistiska signifikansen på 95 %, det är ju ändå standard.

Oj! 45 000 i varje variation! 

Om vi ignorerar att 45 000 är riktigt många, vad betyder det att ha “45 000 i varje variation” när vi pratar om ett utskick och en kontrollgrupp? Behöver både utskicket och kontrollgruppen vara 45 000 och måste du alltid då ha en 50/50 split?

Nej, det är den minsta gruppen som måste uppnå den summan. Så om det är en 95/5- eller 80/20-split spelar ingen roll.

Tillbaka till marknadsföraren på Philles Fisk. De har en bas på 150 000 personer. 45 000 personer i kontrollgruppen representerar 30 % av hela basen. Det känns lite magstarkt! Så vad kan du som  marknadsförare göra?

Du som marknadsförare kan t.ex:

• Acceptera en mindre MDE - att ändra den till 30 % sänker antalet till 19 000 eller ca 13 % av basen. Det kan du säkert rättfärdiga. Avägningen är att om kampanjen har en effekt under 30 % mot ingenting så kommer du inte kunna se det.
  
  
• Sänka signifikansnivån till 80 % - acceptera att det finns en ‘en på fem’ chans att svaret du får beror på slumpen och inte den nya kampanjen. Vid utskick som sker till exempel varje eller varannan vecka är det en bra avägning eftersom du kan få en samlad bild - en trend även fast ett enskilt resultaten kanske beror på slumpen är det inte troligt att en majoritet gör det.
  
  

Det kan verka krångligt. Dokumentera vilka siffror du oftast ser, så bygger du snabbt känsla - efter några rundor går det på rutin! Det viktiga är att man vet varför man gör vad man gör.

Så läser du resultatet

När du väl satt upp alltihop behöver du läsa av resultatet. Du hittar siffrorna på lite olika ställen och det ser lite olika ut beroende på om det är en Campaign eller en Canvas.

Campaign

1. I Campaign Details ser du en översiktsbild över hur kampanjen presterat som även inkluderar ditt primära Conversion Event.

2. Scrollar du nedåt ser du en annan vy som inkluderar engagement-siffror plus Confidence (konfidens). I exemplet med bilden ser vi att den är väldigt låg, 8.75%. Allra troligast på grund av den låga graden av konverteringar - 0.16% (91 konverteringar).

3. Under det finner vi Conversion Event Details. Här ser du en översikt över samtliga Conversion Events om du har fler än ett.  

Canvas

1. Längst upp hittar vi Canvas Details som ger en översikt över hur resan presterar. I högre hörnet av Conversion Rate (som visar den totala “konverteringen” om du har flera Conversion Events) kan du trycka upp ett till fönster med ytterligare detaljer. Här kan du se de specifika siffrorna för alla Conversion Events du använt.

2. Nästa plats att se konverteringarna är lite längre ned i resan. Där kan du i det första steget se en sammanfattning av konverteringarna för den grenen.

3. För den mest intressanta vyn, klicka på Analyze Variants längst ned till vänster. Här ser du den mest detaljerade nedbrytningen av hur olika Conversion Events presterar mot din kontrollgrupp och olika varianter i resan.

Gör analys till en del av din process

Det viktigaste (som många också glömmer bort) är att integrera analysen av dina kampanjer och resor i din arbetsprocess. Utan det finns det inget bra sätt att se till att det blir gjort, månad ut och månad in. Du har heller inget smidigt sätt att se till att resultat och slutsatser blir dokumenterade. Vad jag rekommenderar är ett månatligt möte där:

• Du och ditt team går igenom månadens kampanjer och när det passar, resor.
• Ni lyfter fram intressanta siffror och diskuterar. Vad fungerade? Vad fungerade inte och varför? På så sätt kan ni effektivt komma på nya idéer och sprida kunskap.
• Ni också skriver ned vad ni kommit fram till. Även idéer för framtida test.

Något enkelt ramverk som täcker de här punkterna är ett bra sätt att hänga upp allt vi gått igenom på. Exakt hur det ser ut och hur ofta vet du bäst.

Sammanfattning

Avslutningsvis: det här handlar inte om att klämma in ännu en funktion, utan om att ge dig och teamet råg i ryggen när ni pratar siffror. Nästa gång någon frågar  “Funkar de där utskicken egentligen?” har ni svaret.
Varför inte börja redan idag? Lycka till, och hör av dig till oss om du vill prata Braze, datadriven marknadsföring eller vad som helst annat!