Hoe lang laat je een A/B-test best lopen?

Hoe lang A/B-testen?

Slecht uitgevoerde A/B-tests zijn pure tijdverspilling, maar als ze goed uitgevoerd zijn kunnen ze een goudmijn aan informatie bieden en je conversies boosten.

 

Een vraag die vaak terugkomt is hoe je het opzet en hoe lang je een A/B-test moet laten lopen om betrouwbare resultaten te krijgen. Ontdek hier hoe je de juiste conclusies kan trekken uit een A/B-test en welke tools je daarbij kunnen helpen.

 

Over A/B-tests

 

Een A/B-test is een simpele manier om twee variaties van hetzelfde concept te vergelijken, en te zien welke het beste presteert. Met een A/B-test kan je de juiste vragen stellen over je website, app of iets anders dat je wilt optimaliseren. En in plaats van dat je gewoon wat dingen test of zelf iets kiest waarvan je denkt dat het beter zal werken, laat je je gebruikers het antwoord geven.

 

Je neemt geen beslissingen op basis van een wilde gok, maar je test een hypothese die je kan bevestigen of weerleggen met echte data.

 

Ben je al een tijdje aan het testen, maar lijkt het niet te lukken?

 

Misschien ligt het hier aan:

 

  • Je bent met de foute hypothese begonnen.
  • Je houdt geen rekening met de statistische significantie.
  • Dit hangt samen met het aantal conversies dat je hebt. Als dat er te weinig zijn, kan je niet echt conclusies trekken.
  • Je laat de test niet lang genoeg lopen.

 

Begin met research

 

Om te vermijden dat je A/B-test een verspilling van tijd wordt doordat je met de foute hypothese begint, begin je best met wat research om te bepalen wat je juist wilt testen.

 

Hypotheses worden nog vaak op gevoel bepaald in plaats van op echte data. Dit kan natuurlijk een succes zijn, maar dan is het geluk. Terwijl je een veel grotere kans op succes hebt als je de A/B-test doet met een hypothese gebaseerd op data.

 

Hoe pak je het aan?

 

  1. Wat wil je bereiken? Dat kunnen bijvoorbeeld meer conversies zijn, of inschrijvingen voor je nieuwsbrief.
  2. Vertaal dit in een haalbaar doel: zorg dat het specifiek en meetbaar is.
  3. Bekijk je persona’s (of maak ze als je er nog geen had). Waar stel je ze teleur? Waar zijn er verbeteringen mogelijk? Je kan dit bijvoorbeeld achterhalen met een 5-second test.
  4. Als je een onderbouwd idee hebt van wat je nog kan verbeteren, kan je een hypothese opstellen. Focus op iets dat haalbaar is om te verbeteren en ga niet te breed. Bepaal je prioriteiten.  

 

Nu je een goede hypothese hebt, is het tijd om te testen.

 

Bereik statistische significantie

 

Statistische significantie is een manier om wiskundig te bewijzen dat een bepaalde statistiek betrouwbaar is. Het is het niveau van vertrouwen dat je hebt in de optie die je kiest. Je laat je A/B-test best zolang lopen tot je een statistische significantie van 95% bereikt. Je resultaten kunnen nog helemaal veranderen als er meer mensen meedoen aan de test, en zo weet je wanneer de resultaten betrouwbaar genoeg zijn om er conclusies uit te trekken.

 

Als je de statistische significantie niet kan zien in het programma of de website die je gebruikt voor de A/B-test, kan je het ook zelf berekenen met een tooltje.

 

Voor een succesvolle A/B-test moet je niet alleen statistische significantie bereiken, ook de grootte telt.

 

Test bij een voldoende grote doelgroep

 

Als je de A/B-test uitvoert bij een te kleine doelgroep, zal je foutmarge toenemen. Stel dat maar 3 mensen meedoen aan de test, dan zal je geen goede conclusies kunnen trekken. Wat is dan wel een goed aantal?

 

Je mikt best op ongeveer 1.000 bezoekers voor je conclusies trekt uit de A/B-test. Sommige experts hebben het over 5.000 bezoekers, maar dat is natuurlijk niet voor iedereen haalbaar. Houd er rekening mee dat deze bezoekers nog in twee gesplitst worden: de ene helft gaat naar A en de andere naar B.

 

Twijfel je nog? Dit tooltje kan helpen om de juiste doelgroepgrootte te bepalen. Het houdt ook rekening met statistische significantie.


En dan tot slot de hamvraag: hoe lang moet je de test laten lopen?

 

Geduld is een schone deugd

 

Het is verleidelijk om een test stop te zetten als je een ‘duidelijke’ winnaar hebt, en daarmee verder te gaan. Maar bekijk dan zeker of je statistische significantie hebt bereikt, en of je doelgroep voldoende groot is. En zelfs daarna kan het geen kwaad om de test nog wat langer te laten lopen om bijvoorbeeld een hogere statistische significantie te krijgen.

 

Een goede vuistregel is om een A/B-test twee weken te laten lopen, of toch minstens zeven dagen. Zo sluit je variaties uit zoals dat er meer verkeer is op bepaalde dagen, of dat mensen eerder in het weekend converteren. Langer dan twee weken kan natuurlijk ook.

 

Wat moet je doen als je test al een hele tijd loopt en er is geen duidelijke winnaar? Als je alle stappen gevolgd hebt, er is statistische significante en de doelgroep is groot genoeg, kan het nodig zijn om de test opnieuw te beginnen met andere varianten.  

 

In snackvorm

 

Optimaliseren = testen.

  • A/B-tests kunnen waardevolle inzichten opleveren.
  • Begin met research voor een goede hypothese. Vermijd om zaken te testen op gevoel.
  • Stop niet voordat je een statistische significantie van 95% bereikt.
  • Zorg ervoor dat je doelgroep groot genoeg is: probeer zeker 1000 bezoekers te halen.
  • Stop niet te snel met je A/B-test, het kan je resultaten verdraaien. Mik op 1 à 2 weken.
Matteo Van Mol

Zet altijd de puntjes op de i, hetzij als copywriter, hetzij als AdWords-specialist. De grootste Jurassic Park-fan van België.

No Comments

Post a Comment

Comment
Name
Email
Website