METHODEN VAN HET GEDRAGSWETENSCHAPPELIJK ONDERZOEK
KWANTITATIEF ONDERZOEK
LES 1: VALIDITEIT
We kijken naar designs met een post-positivistische bril op.
Hoofdstuk 2: Statistical conclusion validity and internal validity
Een voorbeeld uit de psychologie: het paard Clever Hans
- Dit paard kon wiskundeproblemen oplossen
- Demonstraties met veel mensen bij: op een blad werd een optelsom geschreven het paard stampte
het antwoord op de grond (bv. antwoord 8 = 8 keer stampen)
Er werden een aantal onderzoekscommissies opgericht hiernaar, de bekendste en meest doorslaggevende was
die van de psycholoog Oskar Pfungst
Hij deed eerst experimenten met het paard alleen
- Het paard kwam zelf tot meer juiste antwoorden bij Pfungst alleen dan bij de eigenaar
- MAAR 1 variant deed het aantal juiste antwoorden bijna tot 0 terugvallen dit was als Pfungst de
getallen zelf niet kon zien of op een grote afstand van hans stond
- Conclusie: hans maakt gebruik van onbewuste aanwijzingen (in uitdrukking, lichaamstaal)
- Hij bekeek dan de baas van Hans en de toeschouwers bij die demonstraties wat bleek? Mensen
maken onbewust bewegingen met hun hoofd indien het paard het juiste aantal heeft het gestampt)
- Extra bewijs voor zijn hypothese:
o Pfungst leerde zelf zo’n trucjes aan
o Iemand had een geheim getal in zijn hoofd en Pfungst tikte
o Gaf vervolgens het zelfde aantal tikken op tafel obv de subtiele aanwijzing
o Nauwkeurigheid van 90% correct
Pfungst stelde de validiteit van de aanvankelijke conclusie dat dit specifieke paard wiskundeproblemen kon
oplossen in vraag
- Hij deed dit door het demonstratieproces te onderzoeken
- Alternatieve experimenten uitvoeren die het mogelijk maakten alternatieven uit te sluiten of plausibel
te maken
1) Validiteit
Validiteit = geldigheid = de mate waarin een uitspraak / inferentie de waarheid benadert
- Het gaat over “een mate waarin”
o Een graad van validiteit
o Het gaat niet over een absolute waarheid, de waarheid wordt slechts “benaderd”
- Het gaat over uitspraken / inferenties; niet over proefopzetten of methoden
- Geen enkele methode is superieur; het gaat over afwegen van verschillende types van validiteit
gekoppeld aan de context en de doelstellingen van het onderzoek
o Het gaat niet over methoden, dus is ook geen enkele methode superieur
In deze theorie is validiteit gekoppeld aan waarheid (benaderen van de waarheid)
hiervoor gaan de auteurs ten rade bij de filosofie daar zijn 3 stromingen over waarheid
Correspondentie Een uitspraak is waar als de uitspraak correspondeert met de observeerbare werkelijkheid
,theorie - Bv. ‘het regent’ is waar als je regen ziet
Coherentie Een uitspraak is waar als ze past binnen een coherente of consistente verzameling van uitspraken
theorie - Vb. ‘het roken van cannabis veroorzaakt kanker’
- Dit wordt als waar beschouwd door experimenten, fysiologische mechanismen die dit tonen
- De nadruk ligt op het passen van een resultaat binnen een geheel van theorieën + er mogen
geen contradicties aanwezig (gebruikt in wiskunde en sociale wetenschappen)
Pragmatische Een uitspraak is waar als het nuttig is om de uitspraak te geloven en ernaar te handelen (heeft een
theorie soort overlevingswaarde + louter gebaseerd op inzichten)
(nuttigheid) - Vb. ‘elektronen bestaan’
- We geloofden dat elektroden bestonden omdat ze orde en voorspelbaarheid gaven (toen er
nog geen onderzoek naar was)
- Postulaten en assumpties kunnen we voor waar aannemen omdat ze werken
Welke theorie klopt nu? Veel filosofische discussies + voor elke theorie een kritiek te formuleren kritieken:
o Correspondentie: de gegevens waarmee een claim wordt vergeleken, is zelf geladen en kan dus geen
theorievrije test van die claim opleveren
o Coherentie: samenhangende verhalen hoeven geen exacte relatie tot de wereld hebben
o Pragmatisme: veel geloofsovertuigingen waarvan bekend is dat ze volgens andere criteria waar zijn,
hebben weinig nut
Auteur gebruikt een combinatie van de theorieën:
o Hij erkent elementen van waarheid beide 3 kunnen belangrijk zijn afhankelijk van de soort studies en
uitspraken
o De 3 elementen kunnen met verschillende gewichten aanwezig zijn
o Alle praktische validiteitstheorieën moeten volgens de auteurs elk van de benaderingen gebruiken
Hun theorie bevat:
o Correspondentie: doet een beroep op de overeenkomst tussen empirisch bewijs en abstracte inferenties
o Coherentie: hun theorie is gevoelig voor de mate waarin een gevolgtrekking samenhangt met relevante
theorie en bevindingen
o Pragmatisme: benadrukken van het nut van het uitsluiten van alternatieve verklaringen
Hij erkent ook de invloed van sociale en psychologische factoren sociale constructie: de invloed daarvan op de
consensus vorming van de wetenschappers op wat nu de waarheid is
o Maar het boek gaat voornamelijk over het gedeelte van de waarheid dat te maken heeft met de 3
elementen en niet met de sociale constructie
1.1 Een validiteitstypologie
Campbell (1957) geeft een aanzet tot de theorie over validiteit.
interessant artikel: in de jaren ’50 was er in de psychologie veel nadruk op de interne validiteit
- Interne validiteit: je geeft een antwoord op de vraag:
o “did in fact the experimental stimulus make some significant difference in this specific
instance?” = heeft de experimentele stimulans in dit specifieke geval wel degelijk een
significant verschil gemaakt?
o Er kan met een grote mate van zekerheid uitspraken gedaan worden over dat soort van vragen
als er gewerkt wordt met gerandomiseerde experten (zo kan je dat onder controle brengen)
Dit kwam er onder invloed van Fisher (zijn invloed op de psychologie toen was enorm)
- Externe validiteit: je geeft een antwoord op de vraag:
o “to what populations, settings, and variables can this effect be generalized?”
= tot welke populaties, instellingen en variabelen kan dit effect worden veralgemeend?
o Interne validiteit wordt uitgebreid naar sociale settings
o Dit krijg je niet onder controle door randomisering
, Campbell & Stanley (1963) breiden deze aanzet verder uit
- Interne validiteit: je geeft een antwoord op de vraag:
o “did the experimental treatments make a difference in this specific experimental instance?” =
hebben de experimentele behandelingen een verschil gemaakt in dit specifieke experimentele
geval?
o Er is een woordenwisseling: is er een verschil opgetreden door de externe manipulatie
- Externe validiteit: je geeft een antwoord op de vraag:
o “to what populations, settings, treatment variables, and measurement variables can this
efect be generalized?” = tot welke populaties, instellingen, behandelingsvariabelen en
meetvariabelen kan dit effect worden veralgemeend?
o Externe validiteit is geen ecologische validiteit!
- Er is nog een opsplitsing tussen beide, maar er is al meer nuance dan in 1957
- Belangrijk: het onderscheid intern en extern valt niet samen met onderscheid tussen labo en veld
o Bv. veldonderzoek met een hoge interne validiteit kan
Cook & Campbell (1979) brengen een herziene versie van de typologie uit
ze breiden de classificatie in 2 uit naar een classificatie in 4 (vierdeling maar nog in groepjes van 2)
Interne - Statistische conclusie validiteit
validiteit o verwijst naar het gepaste gebruik van statistiek om af te leiden of de onafhankelijke en
afhankelijke variabelen samenhangen
o Afleidingen, inferenties en nadruk op samenhang (= covariantie)
- Interne validiteit
o verwijst naar het feit of die statistische samenhang te wijten is aan een oorzaak-gevolg
verband (kwestie van causaliteit in de plaats van gewoon samenhang)
Externe - Constructvaliditeit
validiteit o verwijst naar de veralgemening van de geoperationaliseerde variabelen naar constructen
(met bijzondere nadruk op oorzaak en gevolg constructen)
o operationaliseringen van de onafhankelijke en de afhankelijke variabelen
- Externe validiteit
o verwijst naar de veralgemening van steekproeven van personen, settings, en tijdstippen
naar en over populaties waarover vragen van veralgemeenbaarheid kunnen worden gesteld
Shadish, Cook & Campbell (2002) hebben dit nog meer verfijnd + een fundamentele herwerking
zelfde vierdeling, maar met een andere invulling
- Statistische conclusie validiteit:
o Hetzelfde als bij Cook & Campbell (1979) + nadruk op effectgrootte
- Interne validiteit:
o Hetzelfde als bij Cook & Campbell (1979)
- Constructvaliditeit:
o inferenties over hogere orde constructen op basis van operationaliseringen in de steekproef:
onderzoekseenheden, behandelingen, meetvariabelen, en settings
o alles wat met representaties te maken heeft, valt onder deze validiteit
o gaat niet meer alleen over de variabelen
- Externe validiteit:
o inferenties over de houdbaarheid van oorzaak-gevolg verbanden over variatie in
onderzoekseenheden, behandelingen, meetvariabelen, en settings
o extrapolaties extrapoleren naar zaken, situaties, eenheden … buiten het experiment
, o bij de vorige versie lag er meer nadruk op de onderzoekseenheden en settings, hier gaat het
over keuzes, behandelingen … die veralgemeenbaar moeten zijn naar andere keuzes,
variabelen, behandelingen …
1.2 Bedreigingen van de validiteit
= de specifieke redenen waarom we gedeeltelijk of volledig verkeerd kunnen zijn als we een inferentie maken
= veel voorkomende alternatieve verklaringen
- Proberen om rekening te houden met de bedreigingen door middel van design controls (niet zozeer
statistical adjustments = post hoc)
o ‘rule them out’: rekening houden met, onder controle brengen, zorgen dat het geen
alternatieve verklaring kan zijn
o Design & design controls (manier waarop het design wordt ontworpen) zijn belangrijk:
Nadruk: opzetten van onderzoek zodanig dat je in het design controle kan krijgen op
de alternatieve verklaring
- Indien niet mogelijk, dan drie vragen:
o Op welke manier is de bedreiging toepasselijk in dit geval?
Belangrijk om te kijken of de bedreiging aanwezig is de mogelijkheid
o Is er evidentie dat de bedreiging plausibel is (en niet enkel mogelijk)?
Als ze niet plausibele is dan is de alternatieve verklaring zomaar uit de lucht gegrepen
o Werkt de bedreiging in dezelfde richting als het geobserveerde effect zodat het een
gedeeltelijke of volledige verklaring van het geobserveerde effect kan bieden?
als de bedreiging tegengesteld werkt aan ons observeerbaar effect, als de bedreiging
er dan niet is zouden we een nog sterker effect vinden alternatieve verklaring is een
versterking van de overtuigingskracht van het effect (idpv dat ze effect onderuit haalt)
- De bedreiging “meten”
2) Statistische conclusie validiteit
Deze validiteit betreft 2 gerelateerde statistische gevolgtrekkingen die de covariatiecomponent van causale
gevolgtrekkingen beïnvloeden:
- Covariëren de veronderstelde oorzaak en effect? vraag van Cook & Campbell
o ten onrechte concluderen dat oorzaak en gevolg samenkomen als ze dat niet doen
een Type I-fout
o ten onrechte concluderen dat ze niet samenkomen als ze dat wel doen een Type II-fout
- Hoe sterk is deze covariantie? toevoeging van Shadish
o Fout als we het effect overschatten of onderschatten
o Fout als we evenals de onzekerheid overschatten of onderschatten
2.1 Rapporteren van statistische resultaten van covariantie
NHTS: Null Hypothesis Significance Testing kijken of er wel of niet covariantie is
- Cohen (1994) schreef een artikel over misverstanden die mogelijk zijn met de NHST/
o De p-waarde die je bekomt mag niet interpreteren als de kans dat de nulhypothese waar is of
als de kans dat het experiment kan worden gerepliceerd
o De p-waarde geeft geen informatie over de grootte van het effect
Andere manier: schattingen van de effectgrootte + een 95% betrouwbaarheidsinterval afbakenen
- helpen ook om onderscheid te maken tussen situaties met een laag statistisch vermogen, en dus brede
betrouwbaarheidsintervallen, en situaties met precieze, maar kleine effectgroottes
- hier zijn er ook misverstanden mogelijk
KWANTITATIEF ONDERZOEK
LES 1: VALIDITEIT
We kijken naar designs met een post-positivistische bril op.
Hoofdstuk 2: Statistical conclusion validity and internal validity
Een voorbeeld uit de psychologie: het paard Clever Hans
- Dit paard kon wiskundeproblemen oplossen
- Demonstraties met veel mensen bij: op een blad werd een optelsom geschreven het paard stampte
het antwoord op de grond (bv. antwoord 8 = 8 keer stampen)
Er werden een aantal onderzoekscommissies opgericht hiernaar, de bekendste en meest doorslaggevende was
die van de psycholoog Oskar Pfungst
Hij deed eerst experimenten met het paard alleen
- Het paard kwam zelf tot meer juiste antwoorden bij Pfungst alleen dan bij de eigenaar
- MAAR 1 variant deed het aantal juiste antwoorden bijna tot 0 terugvallen dit was als Pfungst de
getallen zelf niet kon zien of op een grote afstand van hans stond
- Conclusie: hans maakt gebruik van onbewuste aanwijzingen (in uitdrukking, lichaamstaal)
- Hij bekeek dan de baas van Hans en de toeschouwers bij die demonstraties wat bleek? Mensen
maken onbewust bewegingen met hun hoofd indien het paard het juiste aantal heeft het gestampt)
- Extra bewijs voor zijn hypothese:
o Pfungst leerde zelf zo’n trucjes aan
o Iemand had een geheim getal in zijn hoofd en Pfungst tikte
o Gaf vervolgens het zelfde aantal tikken op tafel obv de subtiele aanwijzing
o Nauwkeurigheid van 90% correct
Pfungst stelde de validiteit van de aanvankelijke conclusie dat dit specifieke paard wiskundeproblemen kon
oplossen in vraag
- Hij deed dit door het demonstratieproces te onderzoeken
- Alternatieve experimenten uitvoeren die het mogelijk maakten alternatieven uit te sluiten of plausibel
te maken
1) Validiteit
Validiteit = geldigheid = de mate waarin een uitspraak / inferentie de waarheid benadert
- Het gaat over “een mate waarin”
o Een graad van validiteit
o Het gaat niet over een absolute waarheid, de waarheid wordt slechts “benaderd”
- Het gaat over uitspraken / inferenties; niet over proefopzetten of methoden
- Geen enkele methode is superieur; het gaat over afwegen van verschillende types van validiteit
gekoppeld aan de context en de doelstellingen van het onderzoek
o Het gaat niet over methoden, dus is ook geen enkele methode superieur
In deze theorie is validiteit gekoppeld aan waarheid (benaderen van de waarheid)
hiervoor gaan de auteurs ten rade bij de filosofie daar zijn 3 stromingen over waarheid
Correspondentie Een uitspraak is waar als de uitspraak correspondeert met de observeerbare werkelijkheid
,theorie - Bv. ‘het regent’ is waar als je regen ziet
Coherentie Een uitspraak is waar als ze past binnen een coherente of consistente verzameling van uitspraken
theorie - Vb. ‘het roken van cannabis veroorzaakt kanker’
- Dit wordt als waar beschouwd door experimenten, fysiologische mechanismen die dit tonen
- De nadruk ligt op het passen van een resultaat binnen een geheel van theorieën + er mogen
geen contradicties aanwezig (gebruikt in wiskunde en sociale wetenschappen)
Pragmatische Een uitspraak is waar als het nuttig is om de uitspraak te geloven en ernaar te handelen (heeft een
theorie soort overlevingswaarde + louter gebaseerd op inzichten)
(nuttigheid) - Vb. ‘elektronen bestaan’
- We geloofden dat elektroden bestonden omdat ze orde en voorspelbaarheid gaven (toen er
nog geen onderzoek naar was)
- Postulaten en assumpties kunnen we voor waar aannemen omdat ze werken
Welke theorie klopt nu? Veel filosofische discussies + voor elke theorie een kritiek te formuleren kritieken:
o Correspondentie: de gegevens waarmee een claim wordt vergeleken, is zelf geladen en kan dus geen
theorievrije test van die claim opleveren
o Coherentie: samenhangende verhalen hoeven geen exacte relatie tot de wereld hebben
o Pragmatisme: veel geloofsovertuigingen waarvan bekend is dat ze volgens andere criteria waar zijn,
hebben weinig nut
Auteur gebruikt een combinatie van de theorieën:
o Hij erkent elementen van waarheid beide 3 kunnen belangrijk zijn afhankelijk van de soort studies en
uitspraken
o De 3 elementen kunnen met verschillende gewichten aanwezig zijn
o Alle praktische validiteitstheorieën moeten volgens de auteurs elk van de benaderingen gebruiken
Hun theorie bevat:
o Correspondentie: doet een beroep op de overeenkomst tussen empirisch bewijs en abstracte inferenties
o Coherentie: hun theorie is gevoelig voor de mate waarin een gevolgtrekking samenhangt met relevante
theorie en bevindingen
o Pragmatisme: benadrukken van het nut van het uitsluiten van alternatieve verklaringen
Hij erkent ook de invloed van sociale en psychologische factoren sociale constructie: de invloed daarvan op de
consensus vorming van de wetenschappers op wat nu de waarheid is
o Maar het boek gaat voornamelijk over het gedeelte van de waarheid dat te maken heeft met de 3
elementen en niet met de sociale constructie
1.1 Een validiteitstypologie
Campbell (1957) geeft een aanzet tot de theorie over validiteit.
interessant artikel: in de jaren ’50 was er in de psychologie veel nadruk op de interne validiteit
- Interne validiteit: je geeft een antwoord op de vraag:
o “did in fact the experimental stimulus make some significant difference in this specific
instance?” = heeft de experimentele stimulans in dit specifieke geval wel degelijk een
significant verschil gemaakt?
o Er kan met een grote mate van zekerheid uitspraken gedaan worden over dat soort van vragen
als er gewerkt wordt met gerandomiseerde experten (zo kan je dat onder controle brengen)
Dit kwam er onder invloed van Fisher (zijn invloed op de psychologie toen was enorm)
- Externe validiteit: je geeft een antwoord op de vraag:
o “to what populations, settings, and variables can this effect be generalized?”
= tot welke populaties, instellingen en variabelen kan dit effect worden veralgemeend?
o Interne validiteit wordt uitgebreid naar sociale settings
o Dit krijg je niet onder controle door randomisering
, Campbell & Stanley (1963) breiden deze aanzet verder uit
- Interne validiteit: je geeft een antwoord op de vraag:
o “did the experimental treatments make a difference in this specific experimental instance?” =
hebben de experimentele behandelingen een verschil gemaakt in dit specifieke experimentele
geval?
o Er is een woordenwisseling: is er een verschil opgetreden door de externe manipulatie
- Externe validiteit: je geeft een antwoord op de vraag:
o “to what populations, settings, treatment variables, and measurement variables can this
efect be generalized?” = tot welke populaties, instellingen, behandelingsvariabelen en
meetvariabelen kan dit effect worden veralgemeend?
o Externe validiteit is geen ecologische validiteit!
- Er is nog een opsplitsing tussen beide, maar er is al meer nuance dan in 1957
- Belangrijk: het onderscheid intern en extern valt niet samen met onderscheid tussen labo en veld
o Bv. veldonderzoek met een hoge interne validiteit kan
Cook & Campbell (1979) brengen een herziene versie van de typologie uit
ze breiden de classificatie in 2 uit naar een classificatie in 4 (vierdeling maar nog in groepjes van 2)
Interne - Statistische conclusie validiteit
validiteit o verwijst naar het gepaste gebruik van statistiek om af te leiden of de onafhankelijke en
afhankelijke variabelen samenhangen
o Afleidingen, inferenties en nadruk op samenhang (= covariantie)
- Interne validiteit
o verwijst naar het feit of die statistische samenhang te wijten is aan een oorzaak-gevolg
verband (kwestie van causaliteit in de plaats van gewoon samenhang)
Externe - Constructvaliditeit
validiteit o verwijst naar de veralgemening van de geoperationaliseerde variabelen naar constructen
(met bijzondere nadruk op oorzaak en gevolg constructen)
o operationaliseringen van de onafhankelijke en de afhankelijke variabelen
- Externe validiteit
o verwijst naar de veralgemening van steekproeven van personen, settings, en tijdstippen
naar en over populaties waarover vragen van veralgemeenbaarheid kunnen worden gesteld
Shadish, Cook & Campbell (2002) hebben dit nog meer verfijnd + een fundamentele herwerking
zelfde vierdeling, maar met een andere invulling
- Statistische conclusie validiteit:
o Hetzelfde als bij Cook & Campbell (1979) + nadruk op effectgrootte
- Interne validiteit:
o Hetzelfde als bij Cook & Campbell (1979)
- Constructvaliditeit:
o inferenties over hogere orde constructen op basis van operationaliseringen in de steekproef:
onderzoekseenheden, behandelingen, meetvariabelen, en settings
o alles wat met representaties te maken heeft, valt onder deze validiteit
o gaat niet meer alleen over de variabelen
- Externe validiteit:
o inferenties over de houdbaarheid van oorzaak-gevolg verbanden over variatie in
onderzoekseenheden, behandelingen, meetvariabelen, en settings
o extrapolaties extrapoleren naar zaken, situaties, eenheden … buiten het experiment
, o bij de vorige versie lag er meer nadruk op de onderzoekseenheden en settings, hier gaat het
over keuzes, behandelingen … die veralgemeenbaar moeten zijn naar andere keuzes,
variabelen, behandelingen …
1.2 Bedreigingen van de validiteit
= de specifieke redenen waarom we gedeeltelijk of volledig verkeerd kunnen zijn als we een inferentie maken
= veel voorkomende alternatieve verklaringen
- Proberen om rekening te houden met de bedreigingen door middel van design controls (niet zozeer
statistical adjustments = post hoc)
o ‘rule them out’: rekening houden met, onder controle brengen, zorgen dat het geen
alternatieve verklaring kan zijn
o Design & design controls (manier waarop het design wordt ontworpen) zijn belangrijk:
Nadruk: opzetten van onderzoek zodanig dat je in het design controle kan krijgen op
de alternatieve verklaring
- Indien niet mogelijk, dan drie vragen:
o Op welke manier is de bedreiging toepasselijk in dit geval?
Belangrijk om te kijken of de bedreiging aanwezig is de mogelijkheid
o Is er evidentie dat de bedreiging plausibel is (en niet enkel mogelijk)?
Als ze niet plausibele is dan is de alternatieve verklaring zomaar uit de lucht gegrepen
o Werkt de bedreiging in dezelfde richting als het geobserveerde effect zodat het een
gedeeltelijke of volledige verklaring van het geobserveerde effect kan bieden?
als de bedreiging tegengesteld werkt aan ons observeerbaar effect, als de bedreiging
er dan niet is zouden we een nog sterker effect vinden alternatieve verklaring is een
versterking van de overtuigingskracht van het effect (idpv dat ze effect onderuit haalt)
- De bedreiging “meten”
2) Statistische conclusie validiteit
Deze validiteit betreft 2 gerelateerde statistische gevolgtrekkingen die de covariatiecomponent van causale
gevolgtrekkingen beïnvloeden:
- Covariëren de veronderstelde oorzaak en effect? vraag van Cook & Campbell
o ten onrechte concluderen dat oorzaak en gevolg samenkomen als ze dat niet doen
een Type I-fout
o ten onrechte concluderen dat ze niet samenkomen als ze dat wel doen een Type II-fout
- Hoe sterk is deze covariantie? toevoeging van Shadish
o Fout als we het effect overschatten of onderschatten
o Fout als we evenals de onzekerheid overschatten of onderschatten
2.1 Rapporteren van statistische resultaten van covariantie
NHTS: Null Hypothesis Significance Testing kijken of er wel of niet covariantie is
- Cohen (1994) schreef een artikel over misverstanden die mogelijk zijn met de NHST/
o De p-waarde die je bekomt mag niet interpreteren als de kans dat de nulhypothese waar is of
als de kans dat het experiment kan worden gerepliceerd
o De p-waarde geeft geen informatie over de grootte van het effect
Andere manier: schattingen van de effectgrootte + een 95% betrouwbaarheidsinterval afbakenen
- helpen ook om onderscheid te maken tussen situaties met een laag statistisch vermogen, en dus brede
betrouwbaarheidsintervallen, en situaties met precieze, maar kleine effectgroottes
- hier zijn er ook misverstanden mogelijk
