Als je als online marketeer wilt weten hoe effectief je online campagnes zijn, kun je verschillende analyse technieken inzetten om op die vraag een antwoord te krijgen. In een eerdere blog heb ik beschreven waarom je als online marketeer zou willen weten wat het effect van je online campagnes is en dat je attributie, media mix modelling en experimenten kan gebruiken om daar inzicht in te krijgen. In deze blog bespreek ik in meer detail wat experimenten precies zijn, welke type experimenten er zijn en wanneer je ze kan inzetten.
Wat zijn experimenten?
Analyses als attributie en media mix modeling zijn gebaseerd op wat we observationele data noemen. Dat wil zeggen, je kijkt naar wat er over tijd aan verkoop binnen komt en probeert een verband te vinden tussen hoeveel je uitgeeft aan je media kanalen en het aantal verkopen. Echter, eventuele externe factoren die ook een invloed kunnen hebben op het aantal verkopen worden hiermee niet uitgesloten waardoor je niet kan aantonen hoeveel mensen je product hadden gekocht als je geen campagnes had gedraaid. Stel bijvoorbeeld dat je toevalligerwijs altijd campagnes draait op het moment dat mensen hun salaris krijgen, dan kan het zijn dat het lijkt dat altijd als je campagnes draait mensen meer gaan kopen, maar dit eigenlijk komt omdat ze meer geld te besteden hebben. Om dit soort effecten uit te sluiten kun je experimenten doen. Ook als je je media strategie wilt veranderen (en bijvoorbeeld in een kanaal heel erg veel meer wilt investeren dan je in het verleden hebt gedaan), dan is het lastig om historische (observationele) data te gebruiken om het effect daarvan inzichtelijk te maken. Ook hiervoor zijn experimenten uitermate geschikt.
Bij een experiment verdeel je de mensen die normaal je advertisement zouden zien in twee groepen. Eén groep krijgt tijdens het experiment je advertisement niet te zien (dit is de controlegroep) en de andere groep krijgt je advertisement wel te zien (dit is de testgroep). Het idee is dat, doordat je mensen willekeurig over de groepen verdeeld, en het om vaak om relatief veel mensen gaat, er eigenlijk geen verschil kan zijn tussen de groepen (als je bijvoorbeeld geïnteresseerd bent in autoverkoop dan wil je niet dat er in één groep meer mannen zitten dan in de andere waardoor je resultaten beïnvloed zou kunnen worden). Wanneer je groepen dus groot genoeg zijn en willekeurig verdeeld zijn, zal de kans op zulke scheve verdelingen heel klein zijn.
Als de campagne lang genoeg heeft geduurd en er genoeg mensen in iedere groep zitten kijken we naar de hoeveelheid aankopen in de controlegroep (die je advertisement niet zag) en de hoeveelheid aankopen in de testgroep (die je advertisement wel zag) in dezelfde periode. Als hier een significant verschil in is, kun je concluderen dat dit komt door je campagne want alle overige factoren waren gelijk over de twee groepen. Het enige wat anders was is dat de ene groep je advertisement zag en de andere niet. Als je bijvoorbeeld 5000 aankopen had in je controlegroep en 7000 in je testgroep, en als dit een significant verschil is, weet je dus dat je campagne voor 2000 extra aankopen heeft gezorgt in de periode van het experiment.
Lift study vs. Geo-experiment
We hadden het al even over het verdelen van wie je advertisement wel en niet te zien krijgt tijdens een experiment. Wanneer je dit alleen wilt doen voor online verkoop dan kun je voor ieder kanaal dit afzonderlijk testen.
Zulke experimenten noemen we ‘lift studies’, omdat je kijkt hoeveel uplift je campagne (hopelijk) veroorzaakt heeft. Deze lift studies vinden meestal plaats in de platformen van de desbetreffende kanalen zelf (bijvoorbeeld binnen facebook of binnen google). Wie in welke groep terecht komt wordt dus bepaald door die platformen. Zou je twee experimenten tegelijk willen draaien op twee verschillende platformen, dan kan het zijn dat iemand in het ene experiment in de controlegroep valt maar in het andere experiment in de testgroep. Dit kan je resultaat verstoren.
Willen we dus meerdere kanalen tegelijk meenemen, dan kun je er voor kiezen om een ‘geo-experiment’ te doen. Dat wil zeggen dat je je groepen niet random verdeeld maar dat mensen in sommige regio's je advertisement wel te zien krijgen en in andere niet. Het is daarbij zaak dat je de regio’s die in de controlegroep vallen en die in de testgroep vallen niet te veel van elkaar verschillen. Het voordeel hiervan is dat je duidelijk kan aangeven (over platformen heen) wie in welke groep moet vallen. Verder kun je, als je per winkelfiliaal het aantal verkopen weet, ook meteen meten of er verschillen zijn tussen het aantal verkopen bij filialen die in de controle regio’s vallen en filialen die in de test regio’s vallen. Zo kan ook het effect van je online campagne op de offline verkopen in kaart gebracht worden.
Wat betreft geo-experimenten is het wel goed om erbij te vermelden dat in een relatief klein land als Nederland, waar veel gereisd wordt, je natuurlijk nooit helemaal kan uitsluiten dat mensen je reclame niet zien. De resultaten van een dergelijk experiment zijn dus nooit helemaal 100% betrouwbaar maar geven wel een goede indicatie om je media strategie op te baseren.
Om toch hier een zo betrouwbaar mogelijk resultaat uit te krijgen hebben we bij Merkle Amsterdam een methode ontwikkeld om een goede geografische verdeling van filialen te maken. Verder kunnen we met een paar klikken op de knop een lift study voor onze klanten opzetten. Hiermee krijgen onze klanten dus snel inzichten waar ze iets mee kunnen.
Voor- en nadelen
Experimenten hebben een aantal voor- en nadelen. Hier geven we een kort overzicht van de belangrijkste.
Wanneer zet je experimenten in?
Wil je de incrementele waarde van een bepaalde campagne weten op de online sales, gebruik dat een lift study. Wil je ook het effect op de offline sales testen, gebruik dan een geo-experiment. Wil je een weten wat het effect is van een bepaalde media strategie die nog niet eerder is voorgekomen, dan kun je ook gebruik maken van experimenten.
Meer vragen?
Heb je nog meer vragen? Neem dan contact op met Kevin Laan (Lead Data, Technology and Optimization) of schrijf je in voor de Merkle Data Update nieuwsbrief:
Geschreven door:
