Consumer Analytics Using Big Data
Samenvatting Hoorcolleges
Hoorcollege 1 - Introduction
Introduction
-> In dit vak is het hoofddoel: Understanding human behavior - in economically relevant contexts - using digital
trace data
→ Digital trace data = big data die je via en digital tool verzameld, denk hier aan echt
grote data, bijvoorbeeld scrollsnelheid van alle tiktok gebruikers
Big data
-> Technische kant: Big data verwijst naar datasets die zo groot zijn dat traditionele opslag en verwerking
moeilijk worden.
→ In-memory: data kan volledig in het werkgeheugen van een computer worden verwerkt voor snelle
Analyse
→ Out-of-memory: data is te groot voor het werkgeheugen en moet via speciale technieken of
gedistribueerde systemen worden verwerkt
-> Digital trace data: dit zijn de digitale sporen die mensen achterlaten bij het gebruik van technologie, zoals
social media-activiteiten, online aankopen, zoekopdrachten, locatiegegevens, en klikgedrag.
Ten simple ‘rules’ for reading a scientific paper; Pick your reading goal
3. Ask six questions:
• What do the authors want to know (research question)?
• What did they do (methods to answer RQ)?
• Why did they do it that way? • What did they find (results and answer to RQ)?
• What to do next?
6. Be critical
• “Published papers are not truths etched in stone.”
• Every paper is wrong and we need to figure out exactly how it is wrong and what are the implications
Big data
-> What would you do if you had all the data?
-> You could summarize it and ask questions like:
→ What are the most popular products? What are the most common technical
difficulties? When do people engage with my product?
1
, → Use concepts like; the mean, interquartile range, etc.
-> You could predict unknowns (e.g. purchase decisions) from knowns (e.g. age location, purchase history)
→ Regression! Machine learning (more complex regression)
-> Sell targeted advertisements? (aka ‘you are the product’), zodat bedrijven heel goede reclame kunnen
doen
-> Maximize engagement with your product?
Consumer analytics
-> Consumer analytics = understanding human behavior in an economic (transaction) context
-> Empirical, quantitative
-> What are some (perhaps unexpected) off-and online context in which you are a consumer?
* Definitie: het is het begrijpen van menselijk gedrag in een economische context, dus hoe mensen zich
gedragen bij transacties en aankoopbeslissingen.
● Aanpak: het werkt empirisch en kwantitatief, dus gebaseerd op meetbare data en analyses, niet alleen
op meningen of intuïtie.
● Voorbeelden van contexten: dit kan zowel offline (bijvoorbeeld supermarktbezoek, restaurantbezoek)
als online(webshops, social media, apps) plaatsvinden, en soms ook op onverwachte plekken waar je
als consument keuzes maakt zonder dat je het doorhebt.
Kortom: consumer analytics gaat om het systematisch bestuderen van hoe en waarom mensen dingen kopen,
in allerlei situaties.
Consumer Analytics using Big Data
-> Aan de hand van wat mensen kopen, kun je psychological traits, psychological states, digital records and
voorspellen. Als je deze 3 dingen hebt, kun je consumer outcomes voorspellen
Hoorcollege 2 - Prediction 1
Leerdoelen van dit college;
-> How big data is used to predict behavior & psychological attributes
-> Meeting goals: understand…
→ What kinds of online data can be used to predict psychological attributes (and what those might be)
→ Basics of prediction algorithms
What is an example of online behavior that can be used to predict users’ psychological attributes?
-> Een voorbeeld is likes en reacties op social media; bijvoorbeeld welke posts iemand leuk vindt of deelt kan
worden gebruikt om persoonlijkheid, interesses of waarden te voorspellen.
2
,Big data use
-> Why would someone use (big) data to predict your (consumer) behavior?
1. Personalization, personalized advertisements; door je gedrag te analyseren kunnen bedrijven
producten, diensten en advertenties afstemmen op jouw voorkeuren
2. Profit; beter afgestemde aanbiedingen en advertenties leiden tot meer aankopen en hogere omzet voor
het bedrijf
Inputs and outputs
-> The general idea
-> Inputs: Facebook likes, obtained from Facebook profiles
-> Outputs: Personality traits, big five model
-> Knowns = Predictors, inputs, independent variables, X
-> Unknowns = Outcomes, dependent/criterion variables, Y
-> Predictors:
→ Past behaviors, profile information (bijv. age)
-> Outcomes:
→ Future (or otherwise unobserved) behaviors
-> Important: Correlation (prediction) is niet hetzelfde als causation
-> Can you think of some things in your own life (or consumer behavior) that could serve as predictors and
outcomes?
→ Hoe vaak je koffiebestellingen via een app plaatst kan een voorspeller zijn voor je voorkeur voor
gemak en kan het resultaat zijn dat je meer gepersonaliseerde aanbiedingen voor koffie of snacks
krijgt
Prediction Algorithms
General idea:
-> Very clear set of instructions for going from A to B
-> Na outputs kun je algorithms gebruiken, bijvoorbeeld linear regression models
The return of regression:
-> Algorithms zijn models, regression models
3
, -> It’s regression all the way down:
→ Sometimes fancy: then we call it machine learning
-> We talk of ‘fitting’ or ‘training’ the model
→ Ordinary Least Squares, Maximum Likelihood
→ Requires that we some known unknowns
-> After model is trained, can use weights (regression coefficients) to predict new observations given some
predictor values
* Algoritmes zijn modellen: een algoritme is in feite een wiskundig model dat probeert het verband tussen
dingen die we weten (predictors) en dingen die we willen voorspellen (uitkomsten) te begrijpen.
Regressie “all the way down”: bijna alle modellen die voorspellen, gebruiken in de kern hetzelfde idee als
regressie: we passen een wiskundige formule aan zodat hij zo goed mogelijk bij de data past. Als het model
ingewikkelder is, noemen we het vaak machine learning.
Fitting of training: dit betekent simpelweg dat we het model leren van de data. Twee veelgebruikte methoden
zijn:
→ Ordinary Least Squares (OLS): zoekt de beste lijn die door de data past.
→ Maximum Likelihood (ML): kiest de parameters die de kans op het zien van de data het grootst
maken
-> Known unknowns: we hebben voorbeelden nodig waar we zowel de voorspellers als de uitkomst kennen om
het model te trainen
-> Voorspellen van nieuwe observaties: zodra het model getraind is, kunnen we de gewichten of coëfficiënten
gebruiken om uit te rekenen wat de uitkomst zal zijn voor nieuwe data
-> Kortom: dit gaat erom dat je een model maakt dat leert van bestaande data en die kennis gebruikt om
toekomstige of onbekende situaties te voorspellen.
-> LASSO is een regression model turn
→ Model ‘fits’ training dataset optimally (bijv. OLS), but all data are different, so we worry
about ‘overfitting’, the data fits training data so well the model is less good with other
datasets
→ Least Absolute Shrinkage and Selector Operator is an example that adds a
penalty term to the regression to avoid overfitting, parameters tend toward zero
→ This ‘shrinkage’ estimator reduces overfitting, improves prediction performance
* LASSO is een regressiemodel, net zoals gewone regressie (bijvoorbeeld OLS), dat probeert de data zo goed
mogelijk te voorspellen.
● Probleem van overfitting: een model kan de trainingsdata te goed passen, waardoor het slecht
presteert op nieuwe, onbekende data.
● Oplossing met LASSO: LASSO voegt een strafterm toe aan het model, waardoor de coëfficiënten van
sommige voorspellers kleiner worden of naar nul gaan.
● Effect: dit heet shrinkage; het voorkomt overfitting en verbetert de voorspellingen voor nieuwe datasets.
Kortom: LASSO helpt om een model niet te afhankelijk te maken van ruis in de trainingsdata, zodat het
algemeen beter voorspelt.
-> What if there are too many predictors?
→ Inference: How does a specific X relate to Y?
→ Prediction: How can we best predict Y given a large set of X?
→ Focus shifts from interpreting predictions to making best predictions
4
Samenvatting Hoorcolleges
Hoorcollege 1 - Introduction
Introduction
-> In dit vak is het hoofddoel: Understanding human behavior - in economically relevant contexts - using digital
trace data
→ Digital trace data = big data die je via en digital tool verzameld, denk hier aan echt
grote data, bijvoorbeeld scrollsnelheid van alle tiktok gebruikers
Big data
-> Technische kant: Big data verwijst naar datasets die zo groot zijn dat traditionele opslag en verwerking
moeilijk worden.
→ In-memory: data kan volledig in het werkgeheugen van een computer worden verwerkt voor snelle
Analyse
→ Out-of-memory: data is te groot voor het werkgeheugen en moet via speciale technieken of
gedistribueerde systemen worden verwerkt
-> Digital trace data: dit zijn de digitale sporen die mensen achterlaten bij het gebruik van technologie, zoals
social media-activiteiten, online aankopen, zoekopdrachten, locatiegegevens, en klikgedrag.
Ten simple ‘rules’ for reading a scientific paper; Pick your reading goal
3. Ask six questions:
• What do the authors want to know (research question)?
• What did they do (methods to answer RQ)?
• Why did they do it that way? • What did they find (results and answer to RQ)?
• What to do next?
6. Be critical
• “Published papers are not truths etched in stone.”
• Every paper is wrong and we need to figure out exactly how it is wrong and what are the implications
Big data
-> What would you do if you had all the data?
-> You could summarize it and ask questions like:
→ What are the most popular products? What are the most common technical
difficulties? When do people engage with my product?
1
, → Use concepts like; the mean, interquartile range, etc.
-> You could predict unknowns (e.g. purchase decisions) from knowns (e.g. age location, purchase history)
→ Regression! Machine learning (more complex regression)
-> Sell targeted advertisements? (aka ‘you are the product’), zodat bedrijven heel goede reclame kunnen
doen
-> Maximize engagement with your product?
Consumer analytics
-> Consumer analytics = understanding human behavior in an economic (transaction) context
-> Empirical, quantitative
-> What are some (perhaps unexpected) off-and online context in which you are a consumer?
* Definitie: het is het begrijpen van menselijk gedrag in een economische context, dus hoe mensen zich
gedragen bij transacties en aankoopbeslissingen.
● Aanpak: het werkt empirisch en kwantitatief, dus gebaseerd op meetbare data en analyses, niet alleen
op meningen of intuïtie.
● Voorbeelden van contexten: dit kan zowel offline (bijvoorbeeld supermarktbezoek, restaurantbezoek)
als online(webshops, social media, apps) plaatsvinden, en soms ook op onverwachte plekken waar je
als consument keuzes maakt zonder dat je het doorhebt.
Kortom: consumer analytics gaat om het systematisch bestuderen van hoe en waarom mensen dingen kopen,
in allerlei situaties.
Consumer Analytics using Big Data
-> Aan de hand van wat mensen kopen, kun je psychological traits, psychological states, digital records and
voorspellen. Als je deze 3 dingen hebt, kun je consumer outcomes voorspellen
Hoorcollege 2 - Prediction 1
Leerdoelen van dit college;
-> How big data is used to predict behavior & psychological attributes
-> Meeting goals: understand…
→ What kinds of online data can be used to predict psychological attributes (and what those might be)
→ Basics of prediction algorithms
What is an example of online behavior that can be used to predict users’ psychological attributes?
-> Een voorbeeld is likes en reacties op social media; bijvoorbeeld welke posts iemand leuk vindt of deelt kan
worden gebruikt om persoonlijkheid, interesses of waarden te voorspellen.
2
,Big data use
-> Why would someone use (big) data to predict your (consumer) behavior?
1. Personalization, personalized advertisements; door je gedrag te analyseren kunnen bedrijven
producten, diensten en advertenties afstemmen op jouw voorkeuren
2. Profit; beter afgestemde aanbiedingen en advertenties leiden tot meer aankopen en hogere omzet voor
het bedrijf
Inputs and outputs
-> The general idea
-> Inputs: Facebook likes, obtained from Facebook profiles
-> Outputs: Personality traits, big five model
-> Knowns = Predictors, inputs, independent variables, X
-> Unknowns = Outcomes, dependent/criterion variables, Y
-> Predictors:
→ Past behaviors, profile information (bijv. age)
-> Outcomes:
→ Future (or otherwise unobserved) behaviors
-> Important: Correlation (prediction) is niet hetzelfde als causation
-> Can you think of some things in your own life (or consumer behavior) that could serve as predictors and
outcomes?
→ Hoe vaak je koffiebestellingen via een app plaatst kan een voorspeller zijn voor je voorkeur voor
gemak en kan het resultaat zijn dat je meer gepersonaliseerde aanbiedingen voor koffie of snacks
krijgt
Prediction Algorithms
General idea:
-> Very clear set of instructions for going from A to B
-> Na outputs kun je algorithms gebruiken, bijvoorbeeld linear regression models
The return of regression:
-> Algorithms zijn models, regression models
3
, -> It’s regression all the way down:
→ Sometimes fancy: then we call it machine learning
-> We talk of ‘fitting’ or ‘training’ the model
→ Ordinary Least Squares, Maximum Likelihood
→ Requires that we some known unknowns
-> After model is trained, can use weights (regression coefficients) to predict new observations given some
predictor values
* Algoritmes zijn modellen: een algoritme is in feite een wiskundig model dat probeert het verband tussen
dingen die we weten (predictors) en dingen die we willen voorspellen (uitkomsten) te begrijpen.
Regressie “all the way down”: bijna alle modellen die voorspellen, gebruiken in de kern hetzelfde idee als
regressie: we passen een wiskundige formule aan zodat hij zo goed mogelijk bij de data past. Als het model
ingewikkelder is, noemen we het vaak machine learning.
Fitting of training: dit betekent simpelweg dat we het model leren van de data. Twee veelgebruikte methoden
zijn:
→ Ordinary Least Squares (OLS): zoekt de beste lijn die door de data past.
→ Maximum Likelihood (ML): kiest de parameters die de kans op het zien van de data het grootst
maken
-> Known unknowns: we hebben voorbeelden nodig waar we zowel de voorspellers als de uitkomst kennen om
het model te trainen
-> Voorspellen van nieuwe observaties: zodra het model getraind is, kunnen we de gewichten of coëfficiënten
gebruiken om uit te rekenen wat de uitkomst zal zijn voor nieuwe data
-> Kortom: dit gaat erom dat je een model maakt dat leert van bestaande data en die kennis gebruikt om
toekomstige of onbekende situaties te voorspellen.
-> LASSO is een regression model turn
→ Model ‘fits’ training dataset optimally (bijv. OLS), but all data are different, so we worry
about ‘overfitting’, the data fits training data so well the model is less good with other
datasets
→ Least Absolute Shrinkage and Selector Operator is an example that adds a
penalty term to the regression to avoid overfitting, parameters tend toward zero
→ This ‘shrinkage’ estimator reduces overfitting, improves prediction performance
* LASSO is een regressiemodel, net zoals gewone regressie (bijvoorbeeld OLS), dat probeert de data zo goed
mogelijk te voorspellen.
● Probleem van overfitting: een model kan de trainingsdata te goed passen, waardoor het slecht
presteert op nieuwe, onbekende data.
● Oplossing met LASSO: LASSO voegt een strafterm toe aan het model, waardoor de coëfficiënten van
sommige voorspellers kleiner worden of naar nul gaan.
● Effect: dit heet shrinkage; het voorkomt overfitting en verbetert de voorspellingen voor nieuwe datasets.
Kortom: LASSO helpt om een model niet te afhankelijk te maken van ruis in de trainingsdata, zodat het
algemeen beter voorspelt.
-> What if there are too many predictors?
→ Inference: How does a specific X relate to Y?
→ Prediction: How can we best predict Y given a large set of X?
→ Focus shifts from interpreting predictions to making best predictions
4
