CHI Nederland


Web Analytics (3): Online experimenteren

Online Experimenten

Het vorige artikel ging dieper in op hoe je het succes van je website kan bekijken, door allereerst de doelen te concretiseren en deze vervolgens te meten.

Dit noem ik de real-time analytics. Deze richten zich op het hier en nu en kunnen weinig vertellen over de impact van toekomstige wijzigingen. Toch zijn er situaties waar je graag zou willen weten wat het gevolg is wanneer je website gaat veranderen. Dit merk je bij het ontwerpen van een website. Hoe reageert de bezoeker op veranderingen in de lay-out, tekst of navigatie. Dit kun je testen met online experimenten.



Klinkt te mooi om waar te zijn, niet?

Hoe je dit doet? Eigenlijk heel eenvoudig. Je pakt de pagina die je wilt veranderen, kopieert deze en voert de wijzigingen door. Vervolgens stuur je een gedeelte van de bezoekers van je site, bijvoorbeeld elke 10e bezoeker, naar de nieuwe pagina. Laat vervolgens voldoende verkeer hier langs stromen en vergelijk het verschil in browse gedrag van de twee groepen. Dit is de meest eenvoudige manier en wordt een AB op splitpath test genoemd. In plaats van twee pagina’s kun je natuurlijk ook meerdere met elkaar vergelijken.

Een AB test is goed om mee te beginnen, want het is gemakkelijk, goedkoop en snel te realiseren. Helaas is de AB test beperkt in zijn mogelijkheden.

Zo kun je bij de AB test niet meerdere elementen tegelijk veranderen omdat je dan niet meer na kan gaan wat het effect van iedere afzonderlijke wijziging is. Je komt er niet achter wat alleen het effect is van de nieuwe tekst als je tegelijkertijd bijvoorbeeld ook nieuw fotomateriaal op de site hebt gebruikt. Multivariate testen kunnen wel exact nagaan wat het effect van iedere verandering is.

Iemand die een grote bijdrage hieraan heeft geleverd is Genichi Taguchi. Jaren geleden, in het naoorlogse Japan, hield hij zich bezig met het optimaliseren van industriële processen. Hij was hierin erg succesvol omdat Taguchi exact naging welke factoren van het constructieproces van invloed waren op de kwaliteit van het product en welke niet.

Stel een fabriek maakt bankstellen. Om voor een goede, constante kwaliteit te zorgen moet je tal zaken in de gaten houden. Maar welke zijn dit? Een goed design dat prettig zit? En hoe belangrijk is de kwaliteit van de stof? Of het hout? En welke factoren zijn eigenlijk niet zo belangrijk en hoef je dus minder aandacht aan te besteden of kun je op bezuinigen?

De onderzoeksmethode van Taguchi is door zeer veel bedrijven overgenomen. Ook door internetbedrijven want het verbeteren van de kwaliteit van een bank verschilt niet zo veel met het optimaliseren van een website.

Bij een webpagina zijn de elementen die je varieert uiteraard niet de stof, bouten of het hout, maar je hebt te maken met tekst, graphics of navigatie. De multivariate testen die helpen de user experience designer bij dit ingrijpende veranderingsproces. Zoals Taguchi wist wat het effect van een nieuwe stof en tegelijkertijd na kon gaan wat het gevolg was van nieuwe lichtere bouten zo helpt een multivariate test bij een gedetailleerde analyse van een nieuwe webpagina. Je weet exact waarom mensen nu bijvoorbeeld wel een product kopen of doorklikken naar de volgende pagina. En met deze informatie kan je de bezoeker van je site beïnvloeden.


Het opstellen: de brainstorm
Hoe test je nu eigenlijk zo’n ingrijpende metamorfose van een website? Dankzij mijn ervaringen heb ik een lijst gemaakt die je hierbij kan helpen.

Het doel
Heb het doel duidelijk voor ogen, bijvoorbeeld wil je online meer producten verkopen of wil je bereiken dat meer mensen zich inschrijven op de nieuwsbrief. Je doelen hoeven dus niet altijd direct financieel gewin te zijn. Zeker bij een content site als bijvoorbeeld nu.nl speelt dit minder een rol. Artikelen op deze site moeten bezoekers trekken. Hoe beter en prikkelender de verhalen op deze site hoe langer de bezoekers op de site van nu.nl blijven. En hoe langer de bezoekers blijven hangen hoe meer nu.nl verdient aan de advertenties.

De pagina
Welke pagina van mijn site moet ik veranderen om mijn doel te bereiken? Bij het voorbeeld van nu.nl is dit waarschijnlijk de homepage, waarop veel bezoekers komen, maar de overgrote meerderheid niet doorklikt. Om dit laatste te onderzoeken kan je een web statistieken pakket gebruiken. Met dit pakket weet je exact hoeveel bezoekers op je homepage waren en hoe lang ze daar bleven.

Bij veel sites moeten meer pagina’s veranderd worden. Dit doe je in verschillende experimenten. Elk experiment beslaat hierbij één pagina.

De varianten
Nu doel en pagina bekend zijn moeten er wijzigingen komen zoals betere slogans of aantrekkelijkere foto’s. Denk hier goed over na, want als de beste nieuwe leus minder goed werkt dan de oude dan ben je geen pixel opgeschoten.

Hieronder zijn enkele tips die je mee zou kunnen nemen tijdens de brainstorm over de varianten.


Usability tests
Mocht je de beschikking hebben over de resultaten van een usability test raad ik aan deze goed onder de loep te nemen. Een usability test, of gebruikerstest, is een prachtig mechanisme om achter de drijfveren van bezoekers te komen. Een nadeel is natuurlijk dat het maar is uitgevoerd op een kleine groep mensen en dit laat zich niet generaliseren naar de gehele groep bezoekers.
Zo was het management bij een klant van mij na een usability test op vier personen nog niet voldoende overtuigd van de uitkomsten om meteen zijn website om te gooien. Mijns inziens terecht.


Bezoekersgroepen & segmenten
Als goed user experience designer of informatie architect sta je natuurlijk ook stil bij de verschillende bezoekersgroepen (persona’s) die op je website komen. Maar weet je ook per pagina hoe groot die groep precies is? Maakt dit 5% uit van het geheel, 50% of misschien zelfs 95%? Het is een goed idee om de teksten bijvoorbeeld precies af te stemmen op de verschillende groepen.

Zo was er eens een experiment op een site van een bank waarbij de bezoekers twee dingen konden doen: uitrekenen hoeveel hypotheek ze konden krijgen of een afspraak maken met een hypotheekadviseur. Het experiment maakte duidelijk dat van iedere optie een specifieke bezoekersgroep gebruik maakte. De bank heeft daar veel van geleerd en besloot later om die pagina op te splitsen in twee verschillende pagina’s. Op de ene kunnen bezoekers hun de hoogte van hun hypotheek uitrekenen en op de ander een afspraak maken.


Het succes van anderen
Natuurlijk hou ik zoveel mogelijk bij wat interessante bevindingen waren uit voorgaande experimenten en de learnings daaruit wil ik natuurlijk graag gebruiken in andere experimenten.

Probeer om die reden ook uit te vinden waar anderen succes mee hebben geboekt. Wellicht kun je dit meenemen in je eigen experiment.


De software
Om een online experiment uit te voeren, hetzij een AB test, hetzij een multivariate test is het in sommige gevallen raadzaam om hier software voor te kopen of te huren. De meeste producten zijn vooral toegespitst op het testen van websites, maar mocht je je experiment niet op een webpagina willen toepassen, maar bijvoorbeeld op de nieuwsbrief, Adword of banner dan kun je het beste te werk gaan met een statistisch programma als SPSS. Het nadeel is dan wel dat je precies moet weten waar je mee bezig bent, want dit programma wordt voornamelijk gebruikt door professionele statistici en geeft geen enkele ondersteuning bij het invoeren of interpreteren van de resultaten. Dit doen de software pakketen als XOS (Memetrics), Offermatica of Optimost wel.


De afronding
Na de test heb je duidelijkheid over de beste pagina. In de meeste gevallen roept dit echter nieuwe vragen op, want een goede website moet voortdurend worden aangepast. En dit levert vaak weer genoeg stof op voor een volgend experiment. Om die reden is het dan ook aan te raden om regelmatig experimenten uit te voeren. Zo baseer je je designs op harde resultaten en krijg je veel inzicht in het gedrag van je bezoeker!


Vragen? Opmerkingen? Stuur een e-mail aan info@arroba.nl .

Eelco van Kuik is eigenaar van en Web Analyst bij Arroba: www.arroba.nl.