METHODEN VAN GEDRAGSWETENSCHAPPELIJK
ONDERZOEK: VERDIEPING
DEEL 1: KWANTITATIEF ONDERZOEK
VALIDITEIT – TYPOLOGIE EN BEDREIGINGEN
VALIDITEIT
Paard Clever Hans kan wiskundige problemen oplossen MAAR validiteit in vraag stellen
Validiteit (geldigheid) = de mate waarin een uitspraak / inferentie de waarheid benadert
o Het gaat over “een mate waarin” ; de waarheid wordt slechts benaderd
o Het gaat over uitspreken / inferenties ; niet over proefopzettingen of methoden
o Geen enkele methode is superieur ; het gaat over afwegen van verschillende types van validiteit
gekoppeld aan de context en de doelstellingen van het onderzoek
Gekoppeld aan waarheid
o Correspondentie theorie: bewering is waar als deze overeenkomt met de wereld
o Coherentietheorie: bewering is waar als deze behoort tot een samenhangende reeks beweringen
o Pragmatisme: bewering is waar als het nuttig is om die bewering te geloven
Correspondentie, coherentie, nuttigheid van belang + invloed sociale / psychologische factoren erkennen
= sociale constructie
BEDREIGINGEN VAN DE VALIDITEIT
= de specifieke redenen waarom we gedeeltelijk of volledig verkeerd kunnen zijn als we een inferentie maken
= veel voorkomende alternatieve verklaringen
Proberen om rekening te houden met de bedreigingen (“rule them out”)
Door middel van design controls (niet zozeer statistical adjustments = post hoc)
Niet mogelijk? 3 vragen
1. Op welke manier is de bedreiging toepasselijk in dit geval?
2. Is er evidentie dat de bedreiging plausibel is (en niet enkel mogelijk)?
3. Werkt de bedreiging in dezelfde richting als het geobserveerde effect
zodat het een gedeeltelijke of volledige verklaring van het geobserveerde effect kan bieden?
De bedreiging “meten”
1
,EEN VALIDITEITSTYPOLOGIE
CAMPBELL
Interne validiteit: “did the experimental stimulus make some significant difference in this specific instance?“
Onder controle door randomisering
Externe validiteit: “to what populations, settings, and variables can this effect be generalized?”
Niet onder controle door randomisering
CAMPBELL & STANLEY
Interne validiteit: “did the experimental treatments make a difference in this specific experimental instance“?
Externe validiteit: : “to what populations, settings, treatment variables, and measurement variables can this
effect be generalized“? (≠ ecologische validiteit)
Intern vs extern ≠ laboratorium vs veld
COOK & CAMPBELL
Statistische conclusie validiteit: is er een statistische samenhang tussen de onafh en afh variabelen?
Interne validiteit: is die statistische samenhang te wijten aan een oorzaak-gevolg verband?
Constructvaliditeit: veralgemening vd geoperationaliseerde variabelen naar constructen
(met bijzondere nadruk op oorzaak en gevolg constructen)
Externe validiteit: veralgemening van steekproeven van personen, settings, en tijdstippen naar en over
populaties waarover vragen van veralgemeenbaarheid kunnen worden gesteld
SHADISH, COOK & CAMPBELL
Statistische conclusie validiteit: is er een statistische samenhang tussen de onafh en afh variabelen? Hoe groot?
Interne validiteit: is die statistische samenhang te wijten aan een oorzaak-gevolg verband?
Constructvaliditeit: inferenties over hogere orde constructen obv operationaliseringen in de steekproef:
onderzoekseenheden, behandelingen, meetvariabelen, en settings (representaties)
Externe validiteit: inferenties over de houdbaarheid van oorzaak-gevolg verbanden over variatie in
onderzoekseenheden, behandelingen, meetvariabelen, en settings (exploraties)
2
,STATISTISCHE CONSLUSIE VALIDITEIT
= covariëren de veronderstelde oorzaak en effect?
hoe sterk is deze covariatie?
Type 1 fout: er bestaat geen effect, maar je vindt het wel
Type 2 fout: er bestaat een effect, maar je vindt het niet
Onder- of overschatting van het effect
Onder- of overschatting van de onzekerheid
Rapportering van statistische resultaten
o NHST: Null Hypothesis Significance Testing
Significant? P < 0,05
Misverstanden ; P-waarde die je bekomt mag je niet begrijpen als…
- De kans dat de nulhypothese waar is / experiment kan worden gerepliceerd
- Info over de grootte van het effect
o Schattingen vd effectgrootte + 95% BI (betrouwbaarheidsinterval)
BEDREIGINGEN
1. Laag statistisch onderscheidingsvermogen (power)
2. Schendingen van de veronderstellingen van statistische procedures
3. Meervoudig toetsingsprobleem (fishing, p-hacking)
4. Onbetrouwbaarheid in de metingen
5. Beperking van het bereik (restriction of range)
6. Onbetrouwbaarheid in de experimentele manipulatie
7. Ruis in de experimentele setting
8. Heterogeniteit bij de onderzoekseenheden / deelnemers
9. Over- of onderschatting van de effectgrootte (biased estimation)
Het aanvaarden van de nulhypothese?
We kunnen de nulhypothese niet bewijzen
voorgestelde aanpak
1. Onderscheidingsvermogen zo hoog mogelijk maken
2. Definiëren van het kleinste effect dat de moeite waard is
3. Equivalentietoets (of Bayesiaanse analyse)
4. Quasi-experimentele analyses
3
, INTERNE VALIDITEIT
= geldigheid van inferenties over het causaal verband tussen X en Y obv geobserveerde covariatie tussen X en Y
(op de manier waarop ze gemanipuleerd of gemeten zijn)
Voorwaarden
1. X gaat vooraf aan Y (Y gaat niet vooraf aan X)
2. X covarieert met Y (statistische conclusie validiteit)
3. Er zijn geen andere plausibele verklaringen voor de covariatie
BEDREIGINGEN
1. Ambigue tijdsvolgorde
2. Differentiële groepssamenstelling (selection)
3. Buitenexperimentele gebeurtenissen (history)
4. Spontane veranderingen (maturation)
5. Regressie naar het gemiddelde
6. Differentiële uitval (attrition / experimental mortality)
7. Herhaald testen (testing)
8. Instrumentatie
9. Additieve en interactieve effecten van de bedreigingen
4
ONDERZOEK: VERDIEPING
DEEL 1: KWANTITATIEF ONDERZOEK
VALIDITEIT – TYPOLOGIE EN BEDREIGINGEN
VALIDITEIT
Paard Clever Hans kan wiskundige problemen oplossen MAAR validiteit in vraag stellen
Validiteit (geldigheid) = de mate waarin een uitspraak / inferentie de waarheid benadert
o Het gaat over “een mate waarin” ; de waarheid wordt slechts benaderd
o Het gaat over uitspreken / inferenties ; niet over proefopzettingen of methoden
o Geen enkele methode is superieur ; het gaat over afwegen van verschillende types van validiteit
gekoppeld aan de context en de doelstellingen van het onderzoek
Gekoppeld aan waarheid
o Correspondentie theorie: bewering is waar als deze overeenkomt met de wereld
o Coherentietheorie: bewering is waar als deze behoort tot een samenhangende reeks beweringen
o Pragmatisme: bewering is waar als het nuttig is om die bewering te geloven
Correspondentie, coherentie, nuttigheid van belang + invloed sociale / psychologische factoren erkennen
= sociale constructie
BEDREIGINGEN VAN DE VALIDITEIT
= de specifieke redenen waarom we gedeeltelijk of volledig verkeerd kunnen zijn als we een inferentie maken
= veel voorkomende alternatieve verklaringen
Proberen om rekening te houden met de bedreigingen (“rule them out”)
Door middel van design controls (niet zozeer statistical adjustments = post hoc)
Niet mogelijk? 3 vragen
1. Op welke manier is de bedreiging toepasselijk in dit geval?
2. Is er evidentie dat de bedreiging plausibel is (en niet enkel mogelijk)?
3. Werkt de bedreiging in dezelfde richting als het geobserveerde effect
zodat het een gedeeltelijke of volledige verklaring van het geobserveerde effect kan bieden?
De bedreiging “meten”
1
,EEN VALIDITEITSTYPOLOGIE
CAMPBELL
Interne validiteit: “did the experimental stimulus make some significant difference in this specific instance?“
Onder controle door randomisering
Externe validiteit: “to what populations, settings, and variables can this effect be generalized?”
Niet onder controle door randomisering
CAMPBELL & STANLEY
Interne validiteit: “did the experimental treatments make a difference in this specific experimental instance“?
Externe validiteit: : “to what populations, settings, treatment variables, and measurement variables can this
effect be generalized“? (≠ ecologische validiteit)
Intern vs extern ≠ laboratorium vs veld
COOK & CAMPBELL
Statistische conclusie validiteit: is er een statistische samenhang tussen de onafh en afh variabelen?
Interne validiteit: is die statistische samenhang te wijten aan een oorzaak-gevolg verband?
Constructvaliditeit: veralgemening vd geoperationaliseerde variabelen naar constructen
(met bijzondere nadruk op oorzaak en gevolg constructen)
Externe validiteit: veralgemening van steekproeven van personen, settings, en tijdstippen naar en over
populaties waarover vragen van veralgemeenbaarheid kunnen worden gesteld
SHADISH, COOK & CAMPBELL
Statistische conclusie validiteit: is er een statistische samenhang tussen de onafh en afh variabelen? Hoe groot?
Interne validiteit: is die statistische samenhang te wijten aan een oorzaak-gevolg verband?
Constructvaliditeit: inferenties over hogere orde constructen obv operationaliseringen in de steekproef:
onderzoekseenheden, behandelingen, meetvariabelen, en settings (representaties)
Externe validiteit: inferenties over de houdbaarheid van oorzaak-gevolg verbanden over variatie in
onderzoekseenheden, behandelingen, meetvariabelen, en settings (exploraties)
2
,STATISTISCHE CONSLUSIE VALIDITEIT
= covariëren de veronderstelde oorzaak en effect?
hoe sterk is deze covariatie?
Type 1 fout: er bestaat geen effect, maar je vindt het wel
Type 2 fout: er bestaat een effect, maar je vindt het niet
Onder- of overschatting van het effect
Onder- of overschatting van de onzekerheid
Rapportering van statistische resultaten
o NHST: Null Hypothesis Significance Testing
Significant? P < 0,05
Misverstanden ; P-waarde die je bekomt mag je niet begrijpen als…
- De kans dat de nulhypothese waar is / experiment kan worden gerepliceerd
- Info over de grootte van het effect
o Schattingen vd effectgrootte + 95% BI (betrouwbaarheidsinterval)
BEDREIGINGEN
1. Laag statistisch onderscheidingsvermogen (power)
2. Schendingen van de veronderstellingen van statistische procedures
3. Meervoudig toetsingsprobleem (fishing, p-hacking)
4. Onbetrouwbaarheid in de metingen
5. Beperking van het bereik (restriction of range)
6. Onbetrouwbaarheid in de experimentele manipulatie
7. Ruis in de experimentele setting
8. Heterogeniteit bij de onderzoekseenheden / deelnemers
9. Over- of onderschatting van de effectgrootte (biased estimation)
Het aanvaarden van de nulhypothese?
We kunnen de nulhypothese niet bewijzen
voorgestelde aanpak
1. Onderscheidingsvermogen zo hoog mogelijk maken
2. Definiëren van het kleinste effect dat de moeite waard is
3. Equivalentietoets (of Bayesiaanse analyse)
4. Quasi-experimentele analyses
3
, INTERNE VALIDITEIT
= geldigheid van inferenties over het causaal verband tussen X en Y obv geobserveerde covariatie tussen X en Y
(op de manier waarop ze gemanipuleerd of gemeten zijn)
Voorwaarden
1. X gaat vooraf aan Y (Y gaat niet vooraf aan X)
2. X covarieert met Y (statistische conclusie validiteit)
3. Er zijn geen andere plausibele verklaringen voor de covariatie
BEDREIGINGEN
1. Ambigue tijdsvolgorde
2. Differentiële groepssamenstelling (selection)
3. Buitenexperimentele gebeurtenissen (history)
4. Spontane veranderingen (maturation)
5. Regressie naar het gemiddelde
6. Differentiële uitval (attrition / experimental mortality)
7. Herhaald testen (testing)
8. Instrumentatie
9. Additieve en interactieve effecten van de bedreigingen
4
