Van sturen op kliks naar netto winst: Data & AI in E-commerce

Het traditionele zoeken, het SEO/SEA-verhaal, dat gaat wel veranderen. Dus dat je je website moet optimaliseren op LLM's en het zoeken daarvan. Dat is wel een ding.

Ja, misschien daarin toevoegen: Google heeft vorige week bekendgemaakt dat er dus ook ads komen in zoekopdrachten. Dus daardoor word ik alleen maar gemotiveerd om uiteindelijk te shoppen via bijvoorbeeld een Gemini.

Nou, ik heb in mijn vakantie heel veel Clair Obscur: Expedition 33 gespeeld. Heeft de Game Awards gewonnen en het is echt een super verslavend spel.

Het is een turn-based game. Het is heel moeilijk om uit te zetten, maar het is prachtig.

Enschede en New York. Hoe zit het met je trainingsschema? Goed, nu week 8 van de 16, dus op de helft. Geen blessures, dat was vorig jaar anders. Heel goed dus, allemaal de goede kant op.

Ja, het voordeel van het trainen is dat je meerdere trainingen hebt per week. Dus easy runs, tempoblokken, interval. Dat maakt het juist leuk. Lekker naast het werk mijn hoofd leegmaken.

Dat is heel erg goed. Maar pizza mag het ook zijn.

Ja, dat is heel spontaan gegaan. Ik was een keer op een meetup, en blijkbaar ben ik op veel meetups, wat ook wel klopt. En toen zei iemand: jij bent toch hypeman? Iemand die ik helemaal niet ken. En toen dacht ik: nou. Als de titel nu weggegeven wordt, dan komt hij op LinkedIn.

Leuk dat je het vraagt. PyData is een globale techcommunity waarin eigenlijk alle best practices over data en AI gedeeld worden. En daar zit een non-profit achter, dat is NumFOCUS. En eigenlijk alle open source tools die je kan bedenken, die worden ondersteund. En daar organiseren we meetups en conferenties voor om kennis te delen. Wat we vandaag ook doen.

Ja, zeker. Ik denk dat bij online e-commerce of online marketing heel veel gemeten wordt, maar om dingen op de juiste manier te meten, en daar ook daadwerkelijk wat mee te doen, kan heel complex worden. We hebben denk ik gezien in de afgelopen jaren dat het hele datalandschap van e-commerce en online marketing alleen maar complexer is geworden, met verschillende platforms die worden aangeboden om nog meer inzicht te krijgen. Waardoor er ook afhankelijkheden worden gecreëerd die eigenlijk meer complexiteit toevoegen om het hele plaatje te kunnen overzien. En ik denk dat veel bedrijven daar momenteel mee worstelen: hoe krijg je toch eenheid in dat hele versnipperde landschap van verschillende tools en platforms?

Ja, wat wij vaak zien bij klanten is dat een stukje data en tracking er vaak maar bij wordt gedaan door bijvoorbeeld een social specialist of Google-specialist. En waar dat voorheen misschien wel kon, zien wij data en tracking echt als een apart specialisme. Het wordt best wel lastig gemaakt door de nieuwe ontwikkelingen: consent mode, cookieblockers, tracking prevention vanuit bijvoorbeeld Safari. En als je een maand niet oplet, dan loop je letterlijk achter. Dus vaak zien we dat het er maar bij wordt gedaan, terwijl het in onze ogen wel echt core is. En dat het echt de bron is waarop je uiteindelijk bedrijfsbeslissingen maakt.

We zien: hoe groter het bedrijf wordt, hoe meer awareness er wordt gecreëerd rondom tracking en hoe serieuzer dat uiteindelijk wordt genomen.

Ja, en misschien ook wel door de ervaring die ze in het verleden hebben opgedaan, dat het dan toch belangrijk is. En dat het niet maar erbij kan worden gedaan.

En daarop aanhakend denk ik ook gewoon de schaal die de bedrijven al aan zich hebben. Dus het kapitaal om misschien een datateam te hebben, waardoor je misschien een customer data platform hebt. Dus één centrale plek waar je daadwerkelijk alles opslaat, in plaats van dat je je marketingspecialist hebt die de Facebook-campagnes aan het optimaliseren is.

Misschien zelfs nog alles in het Excel-bestandje haalt, de export van het Google-platform.

Ja, als ik naar onze klanten kijk: hoe minder volwassen je bent, hoe meer direct voordeel je hebt vanuit AI. Dus bijvoorbeeld productoptimalisatie, de feeds. Er worden ook steeds meer MCP's uitgerold. Google Ads heeft een eigen MCP. Een MCP is een contextprotocol voor AI, zoals een API dat is. Waarbij je eigenlijk direct AI toegang geeft tot databronnen zoals Google Ads. Dus je kunt daar letterlijk in human language vragen stellen waarbij je antwoorden terugkrijgt vanuit de platformen. Dus waar we voorheen bijvoorbeeld dashboards gebruikten, en nog steeds, kun je nu ook meteen aan Google via Gemini vragen: hoeveel spend heb ik gehad? En dat is voor iemand die niet technisch is of niet met data bezig is wel een grote stap, omdat hij dus geen dataspecialist direct meer nodig heeft.

Ik zou zeggen, hyperpersonalisatie hoor je nog steeds. Maar die zou ik niet per se noemen. Net hoorde ik je zeggen "daadwerkelijk gebruikt". Dus dat is een belangrijk nuanceverschilletje, zou ik zeggen. Want hoewel iedereen zegt dat het gebeurt, vind ik in ieder geval persoonlijk, voor wat ik om me heen zie gebeuren, dat het wat minder is. Eentje die ik echt zou noemen is ook het agentic aan de consumerkant. Want vorig jaar is natuurlijk gezegd: dit wordt het jaar van de agents. Nou, dat denk ik dat we dat in Nederland, en ik denk ook wel globaal, nog niet kunnen zeggen. Maar ik denk nu wel dat we dit jaar echt steeds meer agent-oplossingen zien die nu in productie staan, intern bij kleinere en grotere bedrijven, en dat we daar nu ook naar de consumerkant gaan. En dat je ook al wel ziet dat klanten dat steeds meer aan het doen zijn. Dus het traditionele zoeken, het SEO/SEA-verhaal, in ieder geval in mijn opzicht, dat gaat wel veranderen. Dus dat je je website moet optimaliseren op LLM's en het zoeken daarvan.

Dat is wel een ding. Misschien daarin toevoegen: Google heeft vorige week bekendgemaakt dat er dus ook ads komen in zoekopdrachten. Dus daardoor word je alleen maar gemotiveerd om uiteindelijk te shoppen via bijvoorbeeld een Gemini.

Ja, en ik denk ook, wat ik heb gezien van brainstormsessies bij verschillende bedrijven, is dat iedereen een beetje het gevoel heeft van: we moeten richting AI en we moeten daar iets mee. Het is echt een beetje een hype aan het worden. Maar terwijl, aan de andere kant, AI is allemaal gebaseerd op data. En als je je dataplatform of je data-architectuur nog niet op orde hebt, is het toch wel lastig voor ook een AI-agent of een LLM-model om daar iets zinnigs uit te halen. Dus ik denk dat het goed is, omdat bedrijven eigenlijk de noodzaak beginnen te zien van het opzetten van een goede datastructuur. Want eigenlijk kan je alleen dan pas iets gaan doen met de persoonlijke AI-tools.

En AI is natuurlijk meer dan het AI waar we het tot nu toe over hebben gehad.

Geen generatieve AI, maar gewoon toegepast op een use case van jouw bedrijf.

Precies.

Ja, dat is inderdaad echt de... commerce agents, zou je kunnen zeggen. Dus dat je daadwerkelijk echt met een agent aan het chatten bent. En dat je zegt: nou, ik zoek nu... Als we het hebben over Oostenrijk, je hebt me zo geïntroduceerd, ik zoek nu een nieuwe skibril, dan dat ik daadwerkelijk gewoon een overzicht krijg. Oh, hier kan je hem kopen, wat vind je belangrijk? Eigenlijk dat, in plaats van dat je gewoon echt zelf de websites afzoekt.

Nou ja, hyperpersonalisatie is een term die in ieder geval snel gebruikt wordt. Maar dan denk ik: waar hebben we het dan over? Als we het hebben over hyperpersonalisatie, hebben we het dan daadwerkelijk over een kleurtje, of hebben we het gewoon over een header die anders is?

Ik denk ook dat je op een gegeven moment tegen EU-wetgeving aanloopt. Want hyperpersonalisatie... Ik heb weleens een ad gezien van mezelf, een kerstkaart waarop stond: Janna Berkhout. Dat vond ik zo leuk toen ik dat zag. Maar hoe gehyperpersonaliseerd wil je het hebben? Dat is wel een beetje creepy.

Maar ik denk dat timing gewoon heel erg belangrijk is. Want voordat ik ben verhuisd en naar meubels op zoek was, dacht ik op een gegeven moment wel van: nou, ik ben nu wel geïnspireerd, want deze tafel vind ik oprecht wel mooi.

Er is een soort fine line tussen wanneer is het creepy, die hyperpersonalisatie, en wanneer is het handig?

Ik zou beginnen met de ROAS, omdat het iets zegt over de toegevoegde waarde van een bepaald kanaal of een campagne. En als we daar zien dat ROAS-doelen worden behaald die op papier oké zijn, dan gaan we ook echt kijken: kunnen we een laag dieper en kunnen we naar de profit gaan kijken.

Ja, ik denk dat wat Bryan zegt, dat dat veel de praktijk is. Maar ik denk wel... ik ga voor optie B. Dat zeg ik met mijn data-brein. ROAS is inderdaad één laag, het is een hogere laag. En als we het dan hebben over kosten, de retouren waar je het allemaal bijvoorbeeld over hebt, allerlei kosten...

Uiteindelijk wil je toch winst halen met je bedrijf.

En ik denk dat daar wel een kloof tussen zit. Als je kan beginnen... als je het mij echt vraagt, en je kan wel dat soort dingen meenemen, ja, doe het dan vanaf het begin. Dus dat is het dilemma. Ik zou niet voor eerst ROAS gaan.

Ja, ik sluit me denk ik aan bij Alexander.

Ja, die voelde je inderdaad aankomen. Je moet je data inderdaad op orde hebben. Iets kort wat Janna ook al noemde, waar het eigenlijk best wel vaak misgaat, is alleen al definities. Dus als we het dan hebben over een bepaalde metric, wordt die daadwerkelijk ook in de data aan de achterkant hetzelfde uitgerekend? Worden exact dezelfde bronnen gebruikt?

Nou ja, een simpel voorbeeldje: als we het hebben over de mooie customer lifetime value. Dus wat eigenlijk voor jou als bedrijf de winst is die een bepaalde klant vertegenwoordigt, zolang die klant bij jou klant is. Welk window neem je daarin mee? En welke kleine nuances gelden dan? Stel dat ik een tijdje... als we het hebben over een afname van een product in de webshop, en ik heb dat een aantal maanden niet gedaan, en ik begin dan wel weer met kopen. Ja, ben ik dan klant geweest en denk je: nou ja, die paar maanden, dat zien we door de vingers? Of ben ik daadwerkelijk een nieuwe klant? Zo voel je al heel snel aan dat je het heel snel over andere dingen kan hebben.

Ja, er zit wat grijs in. Het is niet zo zwart-wit als je van tevoren kan bedenken. Wat dat betreft heb je het als data-analist of scientist ook niet altijd makkelijk, want je hebt heel erg de mensen van de business nodig om jou te vertellen over de context van jouw product. En dan moet je samen gaan beslissen. Ook als je het hebt over attributie: hoe ver wil je terug in de tijd kijken om te weten met welke ads je klant in contact is geweest? Als je dat een jaar terug doet, dan heb je er misschien minder aan dan wanneer je het een maand terug meet. Het is altijd een afweging.

Dat is wat we ook wel doen. Wij beginnen inderdaad vaak met ROAS in plaats van POAS, omdat vaak de datastromen nog niet inzichtelijk zijn bij de klanten. Dus ze weten bijvoorbeeld nog niet hoe ze retouren kunnen aftrekken van hun aankopen. Maar wat we wel doen, is een break-evenformule, waarbij we kunnen kijken: oké, wat moet de break-even zijn op een bepaald assortiment of categorie? En daar stellen we de vraag: oké, wat is de genormaliseerde winstmarge, wat zijn de retourpercentages? En die kunnen ze wel vrij snel statisch uit het systeem halen. Ze kunnen dat in ieder geval per kwartaal blijven monitoren, en dan komt daar een break-even-ROAS uit. En als die wordt behaald, het liefst natuurlijk meer, dan gaan we echt kijken: hoe kunnen we die statische informatie dynamisch beschikbaar maken in ons data warehouse om die POAS of die break-even-ROAS te kunnen optimaliseren?

POAS is profit on ad spend. Dus het daadwerkelijke nettoresultaat van de kanalen of campagnes.

En dat is dan minder de retouren?

Ja, we hebben het dan over... ja, precies.

Maar is dat dan niet... nou ja, ik wil zeggen, een beetje lullig voor de mensen die de marketing doen, want die hebben verder zelf niet zoveel invloed op de retouren. Dat ligt meestal aan het product. Dus beoordeel je dan niet je marketingactiviteiten negatief, terwijl die eigenlijk heel erg goed zijn? Stel dat je een product hebt dat niet zo goed loopt, dan kan je marketingafdeling toch niet zoveel doen.

Dat ligt eraan. We hebben bijvoorbeeld heel veel fashionklanten, waarbij je wel vaak ziet dat retouren echt killing zijn. Daarbij kunnen we juist die inzichten vergaren om bepaalde campagnes te bekijken die bovengemiddeld retour veroorzaken, en om die campagnes te optimaliseren. En dat kan bijvoorbeeld zijn door te zeggen: dit model is 1,80 meter en draagt maat L, of: valt groot, valt klein. En daarin zie je juist dat we wel touchpoints hebben waarbij we kunnen zeggen: als we hierop optimaliseren, zien we uiteindelijk het retourpercentage op die campagne afnemen. Dus hebben we sneller het POAS-punt bereikt.

En ik ben wel benieuwd, Pieter, wat zeg jij uiteindelijk? Want dan hebben we het rondje helemaal rond.

Ja, als ik dan naar mezelf kijk: we hebben klanten die bijvoorbeeld door heel Europa zitten, met verschillende gewichten van pakketten en groottes. Dus dan heb je meerdere variabelen waar je rekening mee moet houden: variabel land, dan gewicht, dus dan heb je ook weer verzendkosten. Uiteindelijk heb je daar wel tools voor, bijvoorbeeld Channable, dus echt je productfeedmanagement. Waarbij je dus eigenlijk op productniveau en landniveau die kosten kunt plotten. En op basis van die data kun je kijken: oké, wat zijn voor dat product en dat land mijn verzendkosten? Maar alles begint met die input van die data, die moet daar natuurlijk wel aanwezig zijn.

Moet je met gemiddelden gaan werken? Het liefst met concrete data. En gemiddelden doen we vaak als de data niet toereikend is. Maar in principe het liefst gewoon op productniveau specifiek.

Ja, en je hebt ook de optie bij de marketingkanalen om aan te geven: dit wordt een outlier, dit wordt een piekmoment. Dus dat kun je aanvinken binnen de marketingkanalen, en dan kun je die data eigenlijk een soort van modelleren, waarbij je rekening houdt met inderdaad een gift season zoals een Black Friday. Of ja, dat is eigenlijk de start van de gift season. Of zoals sommige mensen het noemen, het Q5-ding, dus de christmas. Dat kun je gewoon aangeven en dan houd je daar rekening mee.

Ja, wat wij niet doen: wij voorspellen niet de voorraad, wij voorspellen wel het out of stock. We weten wat de verkoopsnelheid is en we weten ook wanneer de nieuwe shipment binnenkomt. En we weten ook hoeveel stuks de shipment bevat. Dus als we kunnen voorspellen dat we uitverkocht raken, dan kiezen we er vaak voor om geen adbudget meer te besteden aan die producten, zodat we dan eigenlijk organisch uitverkopen. Zodat we uiteindelijk meer profit onder aan de streep hebben, omdat je dus minder adspend hebt.

Het zit hem denk ik vaak meer in dat men niet "nee" wil verkopen, natuurlijk. Dus ja, dat is...

Het is ook slecht voor je imago, als je een website laat zien of een ad, en je klikt erop en het product is er helemaal niet. Daar worden mensen gewoon boos van.

Ja, de kans is dat die mensen gewoon niet meer terugkomen naar je bedrijf.

Mensen onthouden het gevoel dat je ze geeft.

Ja, en nog veel erger: dat je op een Facebook-ad klikt van een bepaald merk, en dat je dan maat 37 krijgt aangeboden die dan nog op voorraad is. Er zijn heel weinig mannen van 1,80 meter die maat 37 hebben.

Tuurlijk, ja. Dan kan je net zo goed gewoon het hele product van je website halen.

Waar wij in het verleden weleens aan hebben gewerkt, is een alternatief op de Google Analytics-attributietools. En dat was gewoon een custom-made attributiemodel, datagedreven, dus gebaseerd op een algoritme, een markovketen-algoritme. En daar bleek wel echt dat er hele andere resultaten uitkwamen dan bijvoorbeeld het Google Analytics last-clickmodel. En dan zie je toch een soort patroon terugkomen, dat als je via Google Analytics je attributie doet, het er rooskleuriger uitziet voor Google, laten we het zo zeggen, dan wanneer je heel erg objectief met een algoritme gaat kijken en verschillende andere platformen eraan verbindt.

Ja, maar dan ga je inderdaad ook al direct een stapje verder, waarbij... als je dat niet doet, dan onderschat je bijvoorbeeld je branding, dus alles wat in de upper funnel zit van het koopproces, om maar zo te zeggen. Dat onderschat je dan, en met een iets geavanceerdere methodiek haal je er nog wel uit wat de waarde daarvan is.

Ik denk dat dat afhangt van de context van je bedrijf. Heb je klanten die er misschien heel lang over doen om een beslissing te maken? Bijvoorbeeld voor een autofabrikant: die hebben meestal niet binnen een maand iets gekocht, en die komen daarna ook niet zo snel meer terug. Dus die hebben een hele andere context dan bijvoorbeeld mensen die elke maand een t-shirt kopen. Of bijvoorbeeld je kattenvoer voorbestelt bij een petwebshop: die komen heel erg regelmatig terug. En dan weet je dus: oké, als ik die een paar weken van tevoren een ad toestuur, dan is de kans groot dat die weer komt. Dan denkt diegene: ja, mijn voer is weer op. Of: hé, leuke aanbiedingen, ik koop er even wat in.

Net als ik: mijn lenzen zijn bijna op. Doe ze goed.

Ja, precies. Dus dat hangt heel erg af van de context van je bedrijf, en wie je klanten zijn, en waarom ze je product kopen eigenlijk.

Wat wij doen is, we werken met een data maturity model waarbij we klanten eigenlijk plotten. Dat kan aan bijvoorbeeld de adspend liggen, maar het kan ook zijn wat we zien op basis van ROAS of POAS. Waarbij we eerst kijken: merken we nog dat er rek zit in de kanalen? Dan blijven we in principe gewoon doorspenderen, en beoordelen we wel op de data die in het marketingplatform beschikbaar is. Weten we dat als je het bij elkaar optelt, je dus hoger uitkomt dan uiteindelijk je echte omzet? En merken we dat de extra euro niet meer oplevert, dus dat we uiteindelijk neerwaarts gaan met de ROAS? Dan kun je nog naar een andere term: blended ROAS. Wat dat betekent is eigenlijk je totale omzet delen door je totale adspend. Op een gegeven moment kom je op een punt waarbij je zegt: ja oké, nu wil ik wel echt de incrementele waarde per kanaal weten. En dan ga je dus eigenlijk meer naar andere tools zoals incrementality testing of MMM.

Nee, ik denk dat dat heel mooi is samengevat. Janna zei net al "last click". Ik denk dat je heel laagdrempelig al kan beginnen. Ik denk dat iedereen kan beginnen. Mij is in het verleden ook weleens gevraagd: kunnen nou alleen grote corporates MMM doen? Het antwoord is in ieder geval, zou ik zeggen, nee. Zodra je die data hebt, en we praten ook niet over big data of wat dan ook, we praten vaak over data van idealiter twee jaar of zo...

Ja, het is misschien zelfs wel makkelijker als klein bedrijf. Als je niet zo heel veel verschillende kanalen hebt, hoe makkelijker het eigenlijk is om in MMM te zetten.

Nou, ik denk dat dat inderdaad een goede toevoeging is. Het kan al heel snel. Alleen: heb je de kennis zelf in huis, ga je dat uitbesteden, doe je dat in stapjes? Eigenlijk is het antwoord: ja, iedereen kan het, alleen stapsgewijs. En als je meer doet, dan heb je zelfs nog methodes om dingen allemaal te combineren.

Ik denk het wel. Als marketeer heb je verschillende online en offline kanalen tot je beschikking. Met offline kanalen bedoel ik bijvoorbeeld tv en out-of-home, dus de posters die je op straat ziet. En online zijn dat de Google Ads en de organic search en andere tools die je tot je beschikking hebt om zoveel mogelijk mensen aan te trekken en uiteindelijk je dienst of je omzet te genereren. En eigenlijk wat je wil doen, is een optimale verdeling van je budget over die kanalen heen. Daarvoor moet je eerst weten: hoeveel draagt elk van die kanalen die ik inzet bij aan mijn winst? En hoe maak ik dat concreet? Het is natuurlijk ook afhankelijk... je omzet is misschien wel afhankelijk van het weer als je een fysieke winkel hebt. Maar het kunnen ook andere externe factoren zijn die van invloed zijn. Dat neem je eigenlijk allemaal mee in dat marketingmixmodel. En die gaat dan zeggen: oké, de bijdrage van je organic search is 12% van je omzet, de toegevoegde waarde. En op basis daarvan kan je dan misschien een soort budgetoptimizer maken. Dat je zegt: oké, ik heb dit budget, verdeel het over mijn kanalen heen, wat is de optimale verdeling? Of je zegt: ik laat mijn budget vrij, ik wil gewoon zoveel mogelijk omzet, zeg maar, hoeveel ik moet investeren waarin.

Ik denk dat Janna het wel goed heeft uitgelegd. Als ik het misschien iets korter moet maken, dan zou ik zeggen: het voorspellen van sales voor marketingkanalen op zich, tussen elkaar, met nog externe factoren erbij. Dat kan. Je maakt het dan wel complexer. En uiteindelijk is het doel gewoon scenarioplanning. Dus uiteindelijk is het een methodiek waarbij je elk kwartaal kan zeggen: oké, ik heb nu dit gespendeerd. Als ik daar nog een euro in stop, dan krijg ik er zoveel voor terug. Ik vond de uitleg heel duidelijk.

Nou, volgens mij zijn er tegenwoordig ook best wel wat tools die een soort out-of-the-box-solution bieden. Bijvoorbeeld PyMC3, die je meer voor echt... als je wel een data scientist in dienst hebt die dat kan gebruiken, en op een relatief makkelijke manier kan opzetten. En daarnaast, als je zelf helemaal geen data scientist in dienst hebt of dat niet wil hebben, dan kan je dat ook volledig uitbesteden aan een partij zoals Billy Grace. Misschien zijn er nog wel meer. En die hebben dan al een soort platform gebouwd waar je gewoon je data in stopt, en dan krijg je er de resultaten uit. Een caveat is wel dat je het dan minder zelf in de hand hebt. Dus dan moet je het doen met de limieten van dat platform of die tool die je gekozen hebt.

Google biedt ook een oplossing vanuit hun aan. Maar ook niet helemaal plug-and-play natuurlijk. Dus daar moet je ook nog wel de juiste kennis voor hebben om hem goed in te richten en de thresholds te bepalen.

Ja, kijk, het is misschien heel toevallig dat zowel Facebook als Google een MMM-model aanbiedt. Voor zover ik kan beoordelen, is het volgens mij niet helemaal onafhankelijk. Maar ze bieden het wel allebei aan.

Ik denk eerst, waar we mee begonnen zijn: echt de definities. Dus dat je eerst echt helder hebt wat je wil gaan optimaliseren. Gaan we het gewoon echt hebben over sales in euro's? En wat heb je dan aan kanalen? Heb ik al die data?

Ja, precies. Het begint ook bij: heb ik al die data? En op welke manier heb ik ze gestructureerd? Kan ik ze überhaupt vinden in mijn data warehouse, als je die hebt?

Nee, want kijk, als je bijvoorbeeld tv-campagnes draait, dan moet je dus weten, misschien wel op dagniveau, wat je hebt uitgegeven aan tv-campagnes. En misschien ook wel hoeveel mensen die tv-uitingen hebben gezien. Die data staat niet in Google Analytics.

Vaak krijg je dan het uitzendschema op dagniveau, en dan misschien zelfs op blokniveau. Waarbij je bijvoorbeeld zelf ook kunt toevoegen welke dag van de week het is geweest. Dus je kunt ook een extra verrijking toepassen, zodat je bijvoorbeeld uiteindelijk kan laten zien: tv op zaterdagavond werkt misschien het beste.

Ja, precies. Maar dat soort dingen staan dus niet in Google Analytics.

Je moet het echt inderdaad naar hetzelfde niveau trekken. Dus het liefst, als je al je kanalen naar dagniveau kan trekken, doe dat dan.

Kijk, als je dat twee jaar lang doet en van elke dag weet hoeveel je hebt uitgegeven, en dat is ook met regelmaat... Het moet niet zo zijn dat je twee jaar lang data bijhoudt, maar dat je maar twee keer een advertentie in de krant hebt gezet. Dat werkt ook niet voor dat model. Het moet voldoende activiteit zijn om voor het model een soort patroon te herkennen. Toen hebben we extra veel in de krant gedaan en toen was mijn omzet dit. Dus als je je omzet heel goed bijhoudt, en per advertentiekanaal hoeveel je eraan hebt uitgegeven, dan ben je denk ik al een heel eind.

En voldoende marketingactiviteit. Want als je een hele kleine speler bent, is de kans dat je misschien niet genoeg marketingactiviteit hebt om daar een goede voorspelling op te doen.

Pinterest, thanks.

Ja, ik denk het ook.

Ja. Sowieso, alles wat je online doet is makkelijker te meten. Het gaat ook niet altijd goed, maar als je je UTM-tagging op orde hebt, dan zou je dat allemaal mee moeten kunnen nemen.

Wat ik denk, is dat als je de tijd en het geld hebt om er meer uit te halen, dan moet je dat doen met een eigen datateam, en het zelf op gaan bouwen. Dan heb je het meest in de hand. Je weet zelf de context van die data, dat is ook moeilijk te vertalen naar een externe partij. Dus ik denk dat alle grote bedrijven die veel aan marketing uitgeven, de voorkeur hebben om zoiets zelf op te bouwen. Maar dan zijn er natuurlijk veel gradaties in. Als je kleiner bent en je hebt misschien minder te besteden, of je hebt een minder groot datateam, dan kan je voor een tussenoplossing kiezen. Of volledig voor een externe partner.

Ja, en dat dan bijvoorbeeld per kwartaal doen.

Ja.

Minder frequent.

Minder frequent. Dus als je zegt: nou oké, we gaan het echt per kwartaal bekijken hoe we willen optimaliseren. Ja, dan doen we misschien inderdaad wel een externe partij. Dat kan al, als je best wel wat spend hebt. Dat kan heel snel gaan.

Nee, kijk, de kwestie gaat meer om: wanneer wil je die optimalisatie weten? Dus gaat je campagnemanager elke maand bepalen waar hij nu het budget in zet? Dat doen ze op grote schaal misschien wel een jaar van tevoren. Globaal weten ze dan wat voor campagnes ze willen gaan doen. Maar dingen zoals online advertenties plannen ze meestal vrij kort van tevoren. En dan wordt het misschien een maand van tevoren. En dan wil je het juist op heel korte termijn, nou ja, dan één keer per maand, dat zou een mooie frequentie zijn. Eén keer per week is misschien een beetje te lastig, omdat je dan weer te weinig data hebt.

Het is verzadigd. Ik denk inderdaad ook: het laagste niveau waar je dan op komt, is maand.

Dat stel je zelf in. Je zegt eigenlijk: wat is je voorspellende variabele, daar ga je op optimaliseren. En of dat ROAS is, dat bepaal je met de business samen. Kijk je naar de ROAS of kijk je naar de POAS? Maar uiteindelijk wil je natuurlijk winst maken.

Dat is ook wat je in het begin vroeg: waar moet je naar kijken? Is denk ik ook die definitie juist scherp stellen. Een ondernemer wil vaak heel veel data hebben, maar dan werkt een model niet. Dus vaak een primaire variabele kiezen.

Ja, als je het echt plat slaat, zou ik zeggen, dan heb je de twee. Want lineair, of frequentist zoals ze dat zo mooi in het Engels zeggen, zou je dat kunnen noemen. Wat je daarbij hebt, is dat uiteindelijk de modeloutput echt zegt, zoals Janna zei: oké, voor dit marketingkanaal, voor elke euro die ik spendeer, geeft het dit terug. Dan heb je ook nog de Bayesiaanse variant. Dat is eentje waar ik in ieder geval op een gegeven moment heel veel mee bezig ben geweest. En wat daar het aardige bij is, is dat alles uiteindelijk als een verdeling wordt weergegeven. Wat ik daarmee bedoel, is dat je ook nog echt onzekerheid erbij krijgt. Dus je kan echt zien: oké, de waarschijnlijke impact voor mijn marketingkanaal ligt tussen waarde X en Z. Dat geeft veel meer transparantie.

Ja, ik denk dat als je mag kiezen, en je kan ervoor kiezen, dan zou ik daar wel voor gaan.

Ik denk dat het ook een beetje de wetenschappelijke kijk is. Wij als data-analisten zien graag een marge, een 95% confidence interval. We weten dat het gemiddelde dus niet één gemiddelde is, er zit altijd een soort van distributie aan vast. Dus als je weet wat je return on ad spend is, dan weet je ook dat dat niet hét getal is, maar dat het rond dat getal ligt. En dan wil je weten: waar ligt dat interval tussen?

Ja, je zou het wel zo kunnen zeggen. Als je uiteindelijk die twee naast elkaar zet, dan is conversie-attributie eigenlijk echt je... ja, je dagelijks runnen van de business, zou ik zeggen. Dat kan je echt heel kortcyclisch bekijken. Waarvan MMM inderdaad eigenlijk echt een tegenpool is. Daar bekijk je echt dingen over een langere termijn, dus echt strategischer.

En ook op kanalen. Terwijl je met attributie toch meer de diepte in kijkt binnen de kanalen. Bijvoorbeeld je searchkanaal: welke strategieën binnen search werken het beste? En daar kan MMM dan geen antwoord op geven.

Nee, precies.

Die kan er wel hoog over iets zeggen, over wat de verdeling is over al die kanalen heen.

Ja, allebei wel, zou ik zeggen. En sterker nog, wat ik al heel kort heb aangestipt: je kan het zelfs combineren. Dus je conversie-attributie kan, als ik weer terugpak naar die Bayesiaanse methode, input zijn om de online kanalen die je daar meet, ook in je MMM te meten. Dat kan informatie zijn om het model beter te laten voorspellen binnen dat kanaal, maar ook voor alle andere kanalen. Want we hadden het daar al kort over: je hebt verschillende marketingactiviteiten naast elkaar. En als dat redelijk gelijk op gaat, wat wel vaak het geval is, dan correleert dat met elkaar. En dan wordt het model wel minder accuraat. Maar als je het wat info geeft, dan wordt het model automatisch beter. En het kan zelfs trouwens, Bryan stipte het aan, ook een experiment zijn wat je daarin meeneemt in plaats van conversie-attributie.

Ja, dus RFM-analyse, in tegenstelling tot MMM, kijkt meer naar klanten. Je gaat je klanten segmenteren. Dat doe je op drie assen: de R voor recency, de F voor frequency en de M voor monetary value. Daarin ga je je klanten indelen in segmenten, op basis van de gemiddelden van je database. Daarvoor hebben wij ook het liefst data van minimaal twee jaar oud. En ook minimaal duizend unieke klanten. En op basis daarvan gaan we kijken: hoe ziet jouw klantsegmentatie eruit en wat zijn de verdelingen van die klantsegmenten? Op basis van de grootte van de database ga je segmenten bouwen. Dat kunnen er vijf tot en met twaalf zijn. Het kunnen bijvoorbeeld champions zijn. Champions zijn mensen die veel bestellen, vaak bestellen en grote hoeveelheden bestellen. Maar het kunnen bijvoorbeeld ook klanten zijn die slapend zijn. Ook daarvan is de definitie heel erg belangrijk. Dus wanneer is iemand slapend? Dat kan bij een B2B-klant anders zijn dan bij een B2C-klant. En binnen B2C kan het ook weer verschillen: is het iets wat je vaak koopt, of is het een telefoonabonnement dat je elke twee jaar afsluit? Want daarna ben je eigenlijk een soort van slapend. En op basis daarvan gaan wij als marketingagency strategieën bedenken. Dus de champions die vaak veel en voor veel geld bestellen, die hoef je niet meer te benaderen via Facebook of Google, want die kennen jou al. Dus die wil je vaak via je owned kanalen gaan benaderen, bijvoorbeeld via e-mail. En dat werkt uiteindelijk weer mee, zowel aan je CLV, dus customer lifetime value, als aan je POAS, dus profit on ad spend. Omdat je dus minder gaat adverteren op klanten die het toch al gaan bestellen, en je juist andere strategieën gaat hanteren om die slapende klanten wakker te schudden.

En als je het hebt over RFM... we hadden het net over tijdsvakken: conversie-attributie meer tactisch, MMM meer strategisch. Hoe past die ertussen, zou je zeggen?

Ja, wel strategisch, omdat we vaak met klanten in gesprek gaan van: oké, hoe ziet je database eruit? En dan zeggen ze heel trots: ja, we hebben 150.000 records. En dan denk je: oké, van die 150.000, hoeveel hebben de laatste drie maanden gekocht? Dan blijft het meestal stil. En daarom doen we eigenlijk verkennend die analyse, zodat we de verhoudingen weten. En op basis daarvan gaan we een maatgemaakte strategie hanteren. Want het is nog wel een verschil of je 50% champions hebt of 50% mensen die slapen of dreigen af te vallen. En op basis van die inzichten gaan we strategisch aan de gang om te kijken: oké, hoe kunnen we die mensen bijvoorbeeld weer gaan activeren? Wat we vaak doen, is dat we eigenlijk elk kwartaal een RFM uitvoeren, waarbij we ook kunnen zien of die strategie die we gekozen hebben effect heeft. Want uiteindelijk wil je zien dat die slapende klanten procentueel zijn afgenomen.

Je kan het zelfs nog een stapje verder trekken, dat je zelfs kan kijken naar: oké, het gedrag dat ik heb gestuurd, zie ik die beweging ook daarbinnen? Dus een soort lookalikes.

We hebben een Sankey, zeg maar, waarbij je kunt zien wat de flows zijn tussen segmenten over een bepaalde periode. Meestal ligt dat aan de grootte van de klant, maar meestal een kwartaal. En dan maken we visueel wat de flows tussen segmenten zijn. Het doel is uiteindelijk om de laagste laag naar boven te werken, en de grootste, of de champions, te behouden.

Dat is eigenlijk het doel. Hoe is dit anders dan de NPS-score bijvoorbeeld, de net promoter score, die veel bedrijven gebruiken om te zien of klanten tevreden zijn en of ze je dus aan andere mensen aanbevelen?

Dat is op basis van dat het op dat moment zo is. En waar wij nu naar kijken is echt: bestelgeschiedenis. Dus hoe vaak bestelt iemand? Dat zegt helemaal niks over hoe tevreden ze zijn. Het kan in theorie zijn dat ze heel ontevreden zijn, maar dat ze wel vaak bestellen omdat je eigenlijk een monopolist bent.

Oh ja, precies. Ze hebben het gewoon nodig, maar stiekem hebben ze er wel een hekel aan.

Ja, dus dat zijn twee verschillende modellen.

Ik denk dat op basis van de RFM dat uiteindelijk ook effect kan hebben op het MMM-model, inderdaad. Omdat, als je relatief veel champions hebt, dan zal e-mail bijvoorbeeld uiteindelijk beter werken.

Het blijft voor marketeers altijd een hele spannende periode. Google heeft nu weer aangekondigd dat ze voorlopig niet stoppen met third parties. Apple heeft het juist weer iets strenger gaan hanteren met de nieuwe iOS-updates. Het is een heel spannend spel dat we blijven spelen. Maar wij zijn altijd wel heel erg fan van first party data. En daar is een RFM een heel goed voorbeeld van.

Ja, een RFM is niet afhankelijk van kanalen. Het zegt veel meer iets over het gedrag van de klant.

Ik wou inderdaad daarop zeggen: ik zou MMM in die zin eigenlijk altijd wel aanbevelen. Je kan dus voorinformatie gebruiken, dus al die dingen die we nu hebben genoemd, die zou je daarin kunnen combineren. En over tijd, als je daar dan naast nog experimenten doet, wordt het alleen maar beter.

Ja, precies. Doordat je dus weer MTA als input gebruikt voor je MMM. MTA is vaak wel afhankelijk van cookies, nou, is dat ook wel weer...

Multi-touch attribution. Conversie-attributie is afhankelijk van die touchpoints die je klanten hebben met je marketingkanalen. Ja, als die party cookies eruit gaan, dan wordt het wel een uitdaging om die correct te meten.

Ik ben wel benieuwd... jij bent in het verre verleden natuurlijk ook online marketeer geweest.

Wat voor tools had je toen ter beschikking? Als je dit nu allemaal hoort, denk je dan: had ik dat toen maar?

En nu hoor je dit en denk je: had ik dat maar? Of niet?

Het blijft geen online marketing meer.

Iets wat ik steeds vaker voorbij zie komen, is Snowplow. En dat is een bedrijf dat in Londen gebaseerd is, geen Amerikaans bedrijf. Dat is tegenwoordig een plus.

En zij spelen eigenlijk heel mooi in op dat versnipperde landschap en eigenlijk de moeite die bedrijven hebben met event-tracking bijvoorbeeld. En het structureren van die data. Want als je een website hebt, dan komt er met bakken aan event-tracking data binnen. Maar door dat heel mooi te structureren, kan je daar ook echt betekenis aan verbinden, dus context aan meegeven, die je bijvoorbeeld met een AI-agent kan benaderen. Daar hebben zij allemaal hele mooie tools voor gebouwd. Ik heb geen aandelen in dit bedrijf. Maar ja, ik zag dat voorbijkomen en ik denk: dit gaat weleens heel handig zijn voor bedrijven die hiermee worstelen.

Vanuit de PyData-pet en op basis van mijn eigen ervaring, zou ik het hebben over een tool: PyMC-Marketing. Ik ben in het verleden bezig geweest met PyMC. Toen heeft een van de co-founders een outreach gedaan naar mij en vroeg: waar gebruik je het eigenlijk voor en hoe werkt het? Kort daarna kwam PyMC-Marketing. Het is een open source-package, dus als je inderdaad een specialist in huis hebt, is het echt iets om naar te kijken. Het is gratis te downloaden. En er zit een heel team achter dat hier continu mee bezig is, om dit te ontwikkelen, daadwerkelijk op de toepassing. Een bedrijf als HelloFresh is hier ook bij betrokken geweest. Je krijgt echt een aantal plots ook die je kan delen binnen je bedrijf, out of the box. Ja, dat is er eentje die ik echt kan aanraden.

Sorry, dit is echt voor MMM. Het is niet een platform, het is echt een tool die je als data scientist gebruikt. Dus ik kan tegen Janna zeggen: nou...

Als ik een MMM-model ga maken...

...check PyMC-Marketing.

Nou ja, ik denk het framework... probeer jezelf ook in te schalen in een soort van maturity model. Fase 1 is altijd de tracking op orde krijgen. Dus ga kijken of je dat kan valideren met bijvoorbeeld backend-data. En ga dan kijken wat bij jou past, dus ROAS, POAS, incrementality testing of MMM.