2.3 Probleem 7: Psychological Research
Leerdoelen:
1. Wat houden exploratory en confirmatory research in? (voor en nadelen)
2. Wat is de replication crisis en hoe vermijden we deze? (oorzaak, biases)
Gelezen:
- De Groot, A. D.: The meaning of “significance” for different types of research.
- Wagenmakers, E. J.: An agenda for purely confirmatory research.
- Kerr, N. L.: HARKing: Hypothesizing after the results are known.
- Loannidis, J. P. A.: Publication and other reporting biases in cognitive sciences.
- Open science and collaboration: Estimating the reproducibility of psychological science.
De Groot, A. D.: The meaning of “significance” for different types of research
Empirical-scientific cycle of thought – observatie – inductie – deductive – testen (problem
6). Deze cyclus wordt ook wel hypothesis testing research genoemd omdat de bevindingen
blijken uit vooraf opgestelde hypothesen.
Hypothesis testing research for a single hypothesis – Er zijn drie assumpties waaraan een
‘positief resultaat’ moet voldoen: 1. Geen errors in de uitvoering van het experiment en in
het verzamelen van data, 2. Het materiaal kan door voor random sample en 3. De populatie
is bekend en duidelijk.
Deze ideale manier gebeurt zelden, het kan anders twee kanten op gaan: 1. Er worden
meerdere hypothesen tegelijk onderzocht of 2. Het onderzoek bevat elementen van een
material-exploration type onderzoek.
Hypothesis testing research for multiple hypotheses – Wanneer er meerdere hypothesen
op significantie worden getest, dit via het hypothese testing research paradigm wordt
gedaan en de H0 iets zegt over de populatie is er niet zozeer een probleem. Wanneer de H0
in alle gevallen klopt is de kans op het onjuist verwerpen van H0 gelijk aan alpha. In dit geval
is het testen met een enkele hypothese gelijk aan het testen met meerdere hypothesen.
Wanneer niet alle H0 hypothesen waar blijken te zijn wordt deze kans anders.
Material-exploration – Bij deze soorten onderzoeken proberen onderzoekers allerlei
materialen en manieren om een antwoord te vinden op hun hypothese (trying), daarna
selecteert een onderzoeker de methoden die het meest een antwoord ‘beloven’ (selecting).
Een onderzoeker kan bij deze methode er geleid worden door zijn eigen verwachtingen en
wensen. De Groot stelt dat deze methode slechts het ‘zoeken naar toevalligheden’ is.
Conclusie – wanneer een onderzoek een exploratief karakter heeft en er een ‘ad hoc’ keuze
wordt gemaakt binnen dit onderzoek zijn de statistische resultaten niet exact
interpreteerbaar.
Wagenmakers, E. J.: An agenda for purely confirmatory research
Perfecte balans onderzoek – in verschillende fasen:
1. Exploratory research
Leerdoelen:
1. Wat houden exploratory en confirmatory research in? (voor en nadelen)
2. Wat is de replication crisis en hoe vermijden we deze? (oorzaak, biases)
Gelezen:
- De Groot, A. D.: The meaning of “significance” for different types of research.
- Wagenmakers, E. J.: An agenda for purely confirmatory research.
- Kerr, N. L.: HARKing: Hypothesizing after the results are known.
- Loannidis, J. P. A.: Publication and other reporting biases in cognitive sciences.
- Open science and collaboration: Estimating the reproducibility of psychological science.
De Groot, A. D.: The meaning of “significance” for different types of research
Empirical-scientific cycle of thought – observatie – inductie – deductive – testen (problem
6). Deze cyclus wordt ook wel hypothesis testing research genoemd omdat de bevindingen
blijken uit vooraf opgestelde hypothesen.
Hypothesis testing research for a single hypothesis – Er zijn drie assumpties waaraan een
‘positief resultaat’ moet voldoen: 1. Geen errors in de uitvoering van het experiment en in
het verzamelen van data, 2. Het materiaal kan door voor random sample en 3. De populatie
is bekend en duidelijk.
Deze ideale manier gebeurt zelden, het kan anders twee kanten op gaan: 1. Er worden
meerdere hypothesen tegelijk onderzocht of 2. Het onderzoek bevat elementen van een
material-exploration type onderzoek.
Hypothesis testing research for multiple hypotheses – Wanneer er meerdere hypothesen
op significantie worden getest, dit via het hypothese testing research paradigm wordt
gedaan en de H0 iets zegt over de populatie is er niet zozeer een probleem. Wanneer de H0
in alle gevallen klopt is de kans op het onjuist verwerpen van H0 gelijk aan alpha. In dit geval
is het testen met een enkele hypothese gelijk aan het testen met meerdere hypothesen.
Wanneer niet alle H0 hypothesen waar blijken te zijn wordt deze kans anders.
Material-exploration – Bij deze soorten onderzoeken proberen onderzoekers allerlei
materialen en manieren om een antwoord te vinden op hun hypothese (trying), daarna
selecteert een onderzoeker de methoden die het meest een antwoord ‘beloven’ (selecting).
Een onderzoeker kan bij deze methode er geleid worden door zijn eigen verwachtingen en
wensen. De Groot stelt dat deze methode slechts het ‘zoeken naar toevalligheden’ is.
Conclusie – wanneer een onderzoek een exploratief karakter heeft en er een ‘ad hoc’ keuze
wordt gemaakt binnen dit onderzoek zijn de statistische resultaten niet exact
interpreteerbaar.
Wagenmakers, E. J.: An agenda for purely confirmatory research
Perfecte balans onderzoek – in verschillende fasen:
1. Exploratory research
