Week 8
Leerdoelen
LO2: Formuleer een probleemstelling (speci ek onderzoeksvraag formuleren).
LO3: Ontwikkel toetsbare assumpties (formuleer speci ek causale hypothesen).
LO4: Kies een onderzoeksmethode (speci ek experiment).
Je kunt de meest geschikte onderzoeksmethode kiezen op basis van de onderzoeksvraag en
hypothesen, met betrekking tot de onderzoeksmethoden experiment, inhoudsanalyse, enquête,
literatuurstudie en kwalitatief onderzoek.
LO5: Validiteit van een onderzoek beoordelen.
Je kunt sterke en zwakke punten voor de interne en externe validiteit van een onderzoek herkennen en
uitleggen.
Experimenteel onderzoek
Een experiment is geschikt om de causaliteit vast te stellen. onderzoek draait om het
systematisch veranderen en vergelijken van een onafhankelijke variabele. De onderzoeker
manipuleert deze variabele om alternatieve verklaringen uit te sluiten door middel van technieken
zoals random toewijzing en het waarborgen van validiteit. Met een goed ontwerp (design) kan de
onderzoeker met zekerheid uitspraken doen over causaliteit.
Experimenteel onderzoek = de onderzoeker manipuleert de onafhankelijke variabele(n) (wat is het
e ect van X op Y?)
-> manipuleren doe je systematisch (‘iets’ veranderen en vergelijken)
Bij de afhankelijk variabele ga je kijken of je iemand kan conformeren.
Voorbeeld manipulatie = kijken hoeveel mensen je nodig hebt om te kijken of iemand mee gaat
doen (conformeren)
Causaliteit vaststellen: Drie voorwaarden
1. Covariatie: Er moet een (statistisch) verband zijn tussen X en Y (is er een samenhang?).
2. Chronologie: X moet voorafgaan aan Y (kan het e ect door X komen?).
3. Uitsluiting van alternatieve verklaringen: Het verband tussen X en Y mag niet worden
veroorzaakt door Z (random toewijzing helpt hierbij).
Belangrijke punten over causaliteit en onderzoek
• Spurieuze relaties: Bijvoorbeeld, de grootte van de stad kan een andere factor zijn die de
relatie beïnvloedt.
• Surveyonderzoek: Vaak is er maar één meetmoment, waardoor je geen uitspraken kunt
doen over causaliteit.
• Manipulatie: Door iets te manipuleren kun je met meer zekerheid causaliteit vaststellen.
Goed manipuleren betekent dat je één variabele verandert en de rest gelijk houdt.
Confounds
Confounds zijn variabelen die verschillen tussen experimentele groepen, los van de onderzochte
manipulatie. Ze hangen samen met de manipulatie en verstoren de resultaten.
- Confounds kunnen ontstaan binnen stimulusmateriaal
-> Voorspellende onderzoeksvragen
Voorbeelden: Confounds zijn niet alleen persoonsgebonden, maar kunnen ook afhangen van
factoren zoals de dag van de week, locatie, of een acteur.
ff fi fi ff fi
, Stap 1: Strategieën om confounds te voorkomen
1. Homogeniseren:
Selecteer alleen participanten met bepaalde eigenschappen (bijv. alleen rijke mensen).
- Problemen:
• Lage representativiteit.
• Belangrijke eigenschappen kunnen worden overgeslagen (bijv. iemand vindt een
acteur vervelend).
2. Matchen:
- Precisiematching: Maak koppels van zeer gelijkende mensen en verdeel hen in groepen.
- Globale matching: Zorg dat groepen globaal dezelfde eigenschappen hebben.
- Probleem:
• Matching wordt moeilijker bij meer eigenschappen.
• Je kunt alsnog belangrijke eigenschappen over het hoofd zien.
3. Randomiseren:
- Deelnemers worden willekeurig toegewezen aan groepen.
- Bij voldoende participanten worden groepsverschillen gemiddeld, waardoor confounds
door persoonsgebonden eigenschappen worden uitgesloten.
- Probleem:
• Randomisatie is niet altijd mogelijk, maar bij voldoende participanten zijn groepen
op groepsniveau vergelijkbaar.
Stap 2: Achteraf controleren
• Controleer of de groepen daadwerkelijk vergelijkbaar zijn op de gemeten variabelen.
Bouwstenen van een experiment
O = Observatie
X = Manipulatie
R = Random toewijzen aan condities
-> Alles wat we nodig hebben om experimenten schematisch weer te geven
Soorten Experimenten en Designs
• Design: De manier waarop een experiment wordt ingericht. Het design bepaalt hoeveel
controle je hebt over het experiment en je vermogen om alternatieve verklaringen uit te
sluiten.
Soorten Experimenten (van weinig naar veel controle)
One-Group Pretest-Posttest Design:
Kenmerken:
- Geen aselecte toewijzing.
- Lage mate van controle.
Problemen:
- Veel alternatieve verklaringen blijven mogelijk.
- Verschillen kunnen veroorzaakt worden door externe factoren, zoals:
• Externe voorvallen.
• Rijping (natuurlijke ontwikkeling over tijd).
• Test-e ecten (verandering door het herhaald meten zelf).
Two-Group Posttest Design:
Kenmerken:
- Twee groepen, maar geen aselecte toewijzing.
- Lage controle.
Problemen:
- Alternatieve verklaringen blijven bestaan, zoals:
• Bestaande verschillen tussen de groepen
(bijvoorbeeld al bestaande eigenschappen).
ff
,Two-Group Pretest-Posttest Design:
Kenmerken:
- Twee groepen, geen aselecte toewijzing.
- Meer controle dan bovenstaande designs.
Problemen:
- Verschillen kunnen nog steeds worden verklaard
door groepskenmerken of test-e ecten.
Voordeel:
- Betere controle en bruikbaar om e ecten te meten.
Zuiver Experiment (met Random Assignment (R)):
Kenmerken:
- Wel aselecte toewijzing van participanten.
- Veel controle, alternatieve verklaringen worden grotendeels uitgesloten.
Solomon Four-Group Design:
Kenmerken:
- Vier groepen (maximale controle).
- Meet voor- en nametingen, met en zonder
manipulatie.
Problemen:
- Uitzonderlijk duur, vaak niet uitvoerbaar door de
grote steekproefgrootte die nodig is.
Time Series Analysis:
Kenmerken:
- Analyse van variabelen over tijd, vóór en na een manipulatie.
Voordeel:
- Geeft inzicht in de stabiliteit van variabelen.
Random design is niet modelijk bij Veldexperimenten en Ex Post Facto Designs
Vanwege praktische beperkingen kiezen we vaak voor:
- Two-Group Pretest-Posttest Design.
-Zuivere Experimenten (met random toewijzing).
Between-Subjects vs. Within-Subjects Design
Between-Subjects Design vergelijkt verschillen tussen groepen mensen.
- Voorbeeld: Two-Group Posttest Design.
Within-Subjects Design vergelijkt verschillen binnen één persoon.
- Voorbeeld: One-Group Pretest-Posttest Design (een persoon wordt voor en na een manipulatie
vergeleken).
ff ff
, Validiteit
Validiteit = Meet ik wat ik wil meten?
1. Interne Validiteit:
- Gaat over de kwaliteit van je onderzoeksopzet. -> Meet de studie het e ect van de manipulatie
en niets anders?
- Belangrijk voor zekerheid over de relatie tussen variabelen en het uitsluiten van alternatieve
verklaringen.
2. Externe Validiteit:
- Gaat over de representativiteit van je conclusies. -> Zijn je resultaten toepasbaar op de mensen
en situaties waar je iets over wilt zeggen?
- Belangrijk voor generaliseerbaarheid.
Bedreigingen van interne validiteit
1. Teste ect (pre-test sensitisation: voormeting heeft e ect op de nameting (eerdere vragen
hebben een e ect op latere vragen)
2. Instrumentatie: verschillende manieren inzetten om te meten (e ecten door verschillende
meetmethoden) (als je de voormeting en de nameting op een andere manier uitvoert)
3. Verspreiding (Di usion): 2 groepen in het experiment waarbij je de ene de manipulatie laat zien
en de andere niet. (Experimentele manipulatie komt ook op een of andere manier ij andere
groepen terecht, bvb contract tussen participanten)
4. Selectie (Selection Bias): Mensen op een onbedoeld systematische manier selecteren
(toewijzen aan) condities waardoor eigenschappen van de groepen verschillen (oplossing!->
random assignment)
5. Proe eidere ect: onderzoeker heeft onbedoeld e ect op participanten (bvb: onderzoeker is
meer enthousiast bij de ene participant dan bij de andere) (oplossing: Dubbelblind onderzoek)
6. Tussentijds extern voorval: e ecten door ‘iets’ buiten het onderzoek (oplossing: Design
aanpassen, controle conditie toegeven bvb)
7. Rijping (groei): Natuurlijke groei of ontwikkeling veroorzaakt een e ect (niet een manipulatie)
(Oplossing-> Design aanpassen, controle conditie toegeven bvb)
8. Uitval (Mortaliteit): een bepaald type mensen haakt af waardoor dus ook alleen een bepaald
type mensen overblijft (dat kan ook interactieren met manipulaties (oplossing: Beloning geven
voor doorgaan)
9. Demand-e ecten: participanten kunnen proberen een onderzoeker te helpen door antwoorden
te geven warvan ze denken dat de onderzoeker ernaar op zoek is. (Oplossing: goede
coverstory: suspiscion proberen)
> Je kan een manipulatiecheck uitvoeren om te kijken of mensen de manipulatie gezien hebben
2 type externe validiteit:
1. Populatie validiteit: is mijn steekproef representatief (vergelijkbaar) met mijn doelgroep?
2. Ecologische validiteit: Is mijn onderzoekssituatie representatief voor de situatie waar ik
uitspraken over wil doen?
3. Hawthorne e ect: onbedoeld e ect door het uitvoeren van een onderzoek
Zuiver experiment
Zuiver experiment gaat over mensen random toewijzen voor je onderzoek. (wanneer iets verschilt
in een groep is dan een confound, bvb meer geld)
flff ff ffffff ff ff ff ff ff ff ff ff
Leerdoelen
LO2: Formuleer een probleemstelling (speci ek onderzoeksvraag formuleren).
LO3: Ontwikkel toetsbare assumpties (formuleer speci ek causale hypothesen).
LO4: Kies een onderzoeksmethode (speci ek experiment).
Je kunt de meest geschikte onderzoeksmethode kiezen op basis van de onderzoeksvraag en
hypothesen, met betrekking tot de onderzoeksmethoden experiment, inhoudsanalyse, enquête,
literatuurstudie en kwalitatief onderzoek.
LO5: Validiteit van een onderzoek beoordelen.
Je kunt sterke en zwakke punten voor de interne en externe validiteit van een onderzoek herkennen en
uitleggen.
Experimenteel onderzoek
Een experiment is geschikt om de causaliteit vast te stellen. onderzoek draait om het
systematisch veranderen en vergelijken van een onafhankelijke variabele. De onderzoeker
manipuleert deze variabele om alternatieve verklaringen uit te sluiten door middel van technieken
zoals random toewijzing en het waarborgen van validiteit. Met een goed ontwerp (design) kan de
onderzoeker met zekerheid uitspraken doen over causaliteit.
Experimenteel onderzoek = de onderzoeker manipuleert de onafhankelijke variabele(n) (wat is het
e ect van X op Y?)
-> manipuleren doe je systematisch (‘iets’ veranderen en vergelijken)
Bij de afhankelijk variabele ga je kijken of je iemand kan conformeren.
Voorbeeld manipulatie = kijken hoeveel mensen je nodig hebt om te kijken of iemand mee gaat
doen (conformeren)
Causaliteit vaststellen: Drie voorwaarden
1. Covariatie: Er moet een (statistisch) verband zijn tussen X en Y (is er een samenhang?).
2. Chronologie: X moet voorafgaan aan Y (kan het e ect door X komen?).
3. Uitsluiting van alternatieve verklaringen: Het verband tussen X en Y mag niet worden
veroorzaakt door Z (random toewijzing helpt hierbij).
Belangrijke punten over causaliteit en onderzoek
• Spurieuze relaties: Bijvoorbeeld, de grootte van de stad kan een andere factor zijn die de
relatie beïnvloedt.
• Surveyonderzoek: Vaak is er maar één meetmoment, waardoor je geen uitspraken kunt
doen over causaliteit.
• Manipulatie: Door iets te manipuleren kun je met meer zekerheid causaliteit vaststellen.
Goed manipuleren betekent dat je één variabele verandert en de rest gelijk houdt.
Confounds
Confounds zijn variabelen die verschillen tussen experimentele groepen, los van de onderzochte
manipulatie. Ze hangen samen met de manipulatie en verstoren de resultaten.
- Confounds kunnen ontstaan binnen stimulusmateriaal
-> Voorspellende onderzoeksvragen
Voorbeelden: Confounds zijn niet alleen persoonsgebonden, maar kunnen ook afhangen van
factoren zoals de dag van de week, locatie, of een acteur.
ff fi fi ff fi
, Stap 1: Strategieën om confounds te voorkomen
1. Homogeniseren:
Selecteer alleen participanten met bepaalde eigenschappen (bijv. alleen rijke mensen).
- Problemen:
• Lage representativiteit.
• Belangrijke eigenschappen kunnen worden overgeslagen (bijv. iemand vindt een
acteur vervelend).
2. Matchen:
- Precisiematching: Maak koppels van zeer gelijkende mensen en verdeel hen in groepen.
- Globale matching: Zorg dat groepen globaal dezelfde eigenschappen hebben.
- Probleem:
• Matching wordt moeilijker bij meer eigenschappen.
• Je kunt alsnog belangrijke eigenschappen over het hoofd zien.
3. Randomiseren:
- Deelnemers worden willekeurig toegewezen aan groepen.
- Bij voldoende participanten worden groepsverschillen gemiddeld, waardoor confounds
door persoonsgebonden eigenschappen worden uitgesloten.
- Probleem:
• Randomisatie is niet altijd mogelijk, maar bij voldoende participanten zijn groepen
op groepsniveau vergelijkbaar.
Stap 2: Achteraf controleren
• Controleer of de groepen daadwerkelijk vergelijkbaar zijn op de gemeten variabelen.
Bouwstenen van een experiment
O = Observatie
X = Manipulatie
R = Random toewijzen aan condities
-> Alles wat we nodig hebben om experimenten schematisch weer te geven
Soorten Experimenten en Designs
• Design: De manier waarop een experiment wordt ingericht. Het design bepaalt hoeveel
controle je hebt over het experiment en je vermogen om alternatieve verklaringen uit te
sluiten.
Soorten Experimenten (van weinig naar veel controle)
One-Group Pretest-Posttest Design:
Kenmerken:
- Geen aselecte toewijzing.
- Lage mate van controle.
Problemen:
- Veel alternatieve verklaringen blijven mogelijk.
- Verschillen kunnen veroorzaakt worden door externe factoren, zoals:
• Externe voorvallen.
• Rijping (natuurlijke ontwikkeling over tijd).
• Test-e ecten (verandering door het herhaald meten zelf).
Two-Group Posttest Design:
Kenmerken:
- Twee groepen, maar geen aselecte toewijzing.
- Lage controle.
Problemen:
- Alternatieve verklaringen blijven bestaan, zoals:
• Bestaande verschillen tussen de groepen
(bijvoorbeeld al bestaande eigenschappen).
ff
,Two-Group Pretest-Posttest Design:
Kenmerken:
- Twee groepen, geen aselecte toewijzing.
- Meer controle dan bovenstaande designs.
Problemen:
- Verschillen kunnen nog steeds worden verklaard
door groepskenmerken of test-e ecten.
Voordeel:
- Betere controle en bruikbaar om e ecten te meten.
Zuiver Experiment (met Random Assignment (R)):
Kenmerken:
- Wel aselecte toewijzing van participanten.
- Veel controle, alternatieve verklaringen worden grotendeels uitgesloten.
Solomon Four-Group Design:
Kenmerken:
- Vier groepen (maximale controle).
- Meet voor- en nametingen, met en zonder
manipulatie.
Problemen:
- Uitzonderlijk duur, vaak niet uitvoerbaar door de
grote steekproefgrootte die nodig is.
Time Series Analysis:
Kenmerken:
- Analyse van variabelen over tijd, vóór en na een manipulatie.
Voordeel:
- Geeft inzicht in de stabiliteit van variabelen.
Random design is niet modelijk bij Veldexperimenten en Ex Post Facto Designs
Vanwege praktische beperkingen kiezen we vaak voor:
- Two-Group Pretest-Posttest Design.
-Zuivere Experimenten (met random toewijzing).
Between-Subjects vs. Within-Subjects Design
Between-Subjects Design vergelijkt verschillen tussen groepen mensen.
- Voorbeeld: Two-Group Posttest Design.
Within-Subjects Design vergelijkt verschillen binnen één persoon.
- Voorbeeld: One-Group Pretest-Posttest Design (een persoon wordt voor en na een manipulatie
vergeleken).
ff ff
, Validiteit
Validiteit = Meet ik wat ik wil meten?
1. Interne Validiteit:
- Gaat over de kwaliteit van je onderzoeksopzet. -> Meet de studie het e ect van de manipulatie
en niets anders?
- Belangrijk voor zekerheid over de relatie tussen variabelen en het uitsluiten van alternatieve
verklaringen.
2. Externe Validiteit:
- Gaat over de representativiteit van je conclusies. -> Zijn je resultaten toepasbaar op de mensen
en situaties waar je iets over wilt zeggen?
- Belangrijk voor generaliseerbaarheid.
Bedreigingen van interne validiteit
1. Teste ect (pre-test sensitisation: voormeting heeft e ect op de nameting (eerdere vragen
hebben een e ect op latere vragen)
2. Instrumentatie: verschillende manieren inzetten om te meten (e ecten door verschillende
meetmethoden) (als je de voormeting en de nameting op een andere manier uitvoert)
3. Verspreiding (Di usion): 2 groepen in het experiment waarbij je de ene de manipulatie laat zien
en de andere niet. (Experimentele manipulatie komt ook op een of andere manier ij andere
groepen terecht, bvb contract tussen participanten)
4. Selectie (Selection Bias): Mensen op een onbedoeld systematische manier selecteren
(toewijzen aan) condities waardoor eigenschappen van de groepen verschillen (oplossing!->
random assignment)
5. Proe eidere ect: onderzoeker heeft onbedoeld e ect op participanten (bvb: onderzoeker is
meer enthousiast bij de ene participant dan bij de andere) (oplossing: Dubbelblind onderzoek)
6. Tussentijds extern voorval: e ecten door ‘iets’ buiten het onderzoek (oplossing: Design
aanpassen, controle conditie toegeven bvb)
7. Rijping (groei): Natuurlijke groei of ontwikkeling veroorzaakt een e ect (niet een manipulatie)
(Oplossing-> Design aanpassen, controle conditie toegeven bvb)
8. Uitval (Mortaliteit): een bepaald type mensen haakt af waardoor dus ook alleen een bepaald
type mensen overblijft (dat kan ook interactieren met manipulaties (oplossing: Beloning geven
voor doorgaan)
9. Demand-e ecten: participanten kunnen proberen een onderzoeker te helpen door antwoorden
te geven warvan ze denken dat de onderzoeker ernaar op zoek is. (Oplossing: goede
coverstory: suspiscion proberen)
> Je kan een manipulatiecheck uitvoeren om te kijken of mensen de manipulatie gezien hebben
2 type externe validiteit:
1. Populatie validiteit: is mijn steekproef representatief (vergelijkbaar) met mijn doelgroep?
2. Ecologische validiteit: Is mijn onderzoekssituatie representatief voor de situatie waar ik
uitspraken over wil doen?
3. Hawthorne e ect: onbedoeld e ect door het uitvoeren van een onderzoek
Zuiver experiment
Zuiver experiment gaat over mensen random toewijzen voor je onderzoek. (wanneer iets verschilt
in een groep is dan een confound, bvb meer geld)
flff ff ffffff ff ff ff ff ff ff ff ff
