Probleem 7: Psychological Research
Literatuur: Artikelen (de Groot, Wagenmakers, Kerr, Ioannidis & Open Science Collaboration)
Artikel de Groot
Twee typen onderzoek kunnen van elkaar worden onderscheiden:
Hypothesis testing research (confirmatory): dit type onderzoek wordt vooral
gekarakteriseerd door de derde (deductie) en vierde (testen) fase van de empirische
cyclus. Zo worden vooraf de voorspellingen vanuit de hypotheses en het gehele
analyseplan gespecificeerd, en vervolgens getest.
Material-exploration (exploratory): dit type onderzoek doet wel voorspellingen over
mogelijke associaties in de data, maar bevat niet het testen van vooraf
gespecificeerde hypotheses. De onderzoeker heeft als houding: kijken wat er kan
worden gevonden over bepaald materiaal. De algemene intentie wordt hierbij vaak
beïnvloed door ad-hoc beslissingen.
Hypothesis-generation: de verkregen data wordt gebruikt om nieuwe ideeën
of hypotheses te genereren. Hypotheses komen dus voort uit data.
Single hypothesis: wanneer één vooraf bepaalde hypothese wordt getest op een vooraf
bepaalde manier, kan significantie op de volgende manier worden geïnterpreteerd. Een
positief resultaat betekent dat, uitgaande van H0, de overschrijdingskans voor het vinden
van een effect kleiner is dan de grenswaarde alfa. Ook deze grenswaarde moet vooraf
worden bepaald. Er kunnen echter complicaties ontstaan:
Er zijn meerdere vooraf gestelde hypotheses die tegelijkertijd worden getest.
Het onderzoek bevat elementen van material-exploration research.
Multiple hypotheses: deze situatie lijkt identiek te zijn aan het testen van één hypothese. De
kans op het ten onrechte afwijzen van H0, wanneer H0 waar is in alle gevallen, zou gelijk zijn
aan alfa voor elk van de hypotheses. Echter, de kans dat één of twee van de hypotheses, die
niet vooraf zijn geselecteerd, ten onrechte worden afgewezen, is niet gelijk aan alfa. Omdat
meerdere conclusies kunnen worden getrokken, is de kans op error groter.
Vb. Wanneer er in totaal N = 10 nulhypotheses zijn, is er pas vanaf n = 3 hypotheses
voldoende reden om de gezamenlijke nulhypothese te verwerpen, namelijk dat alle
10 de nulhypotheses waar zijn. De gedachte dat alle drie de hypothesen veroorzaakt
zijn door kans wordt verworpen. Maar de kans blijft echter bestaan dat één of twee
van de drie wel zijn veroorzaakt door toeval.
Material-exploration: het aanwezige empirische materiaal wordt verkend op verschillende
manieren die niet vooraf zijn gespecificeerd. Zo zal de onderzoeker afleiden uit het materiaal
wat er te vinden is, dus ook wat hier accidentally te vinden is. De onderzoeker doet aan
proberen en selecteren:
Trying: experimenteren met verschillende variabelen en operationele definities.
Selecting: het ad hoc selecteren van materiaal dat veelbelovend lijkt te zijn.
, Wanneer de onderzoeker zich laat leiden door ad hoc ideeën, is het lastig te bepalen hoe
groot N moet zijn, oftewel het totaal aantal nulhypotheses. Omdat N onbepaald is, kan de
betekenis van positieve resultaten niet exact worden geïnterpreteerd.
Vb. Er werd onderzocht of door het concentreren op het cijfer 6 op een dobbelsteen
ertoe zou leiden dat dit cijfer significant vaker voorkwam. Uit de resultaten bleek dat
het cijfer alleen in serie 2 en serie 3 vaker voorkwam, maar het idee om deze sessies
te bekijken is ad hoc bepaald. De hypothese bevatte geen voorspelling over serie 2 en
3, waardoor de positieve uitkomsten geen betekenis/bewijs hebben.
Artikel Wagenmakers
Confirmation bias: mensen zoeken informatie die hun geloven bevestigt en niet ontkracht.
Dit werkt op minstens drie manieren:
1. Ambigue informatie wordt geïnterpreteerd als consistent met iemands geloven.
2. Mensen zoeken naar informatie die hun hypotheses bevestigt.
3. Mensen onthouden informatie beter wanneer deze hun positie steunt.
Hindsight bias: de neiging om een gebeurtenis als voorspelbaar te beoordelen nadat het
heeft plaatsgevonden. Oftewel, achteraf zeggen dat je dit al zag aankomen.
Deze biases zouden ook invloed hebben op het onderzoeksproces. Zo proberen
onderzoekers hun hypothese te bevestigen, niet te falsificeren. Ook zouden ze methodes en
procedures gebruiken die hun kans op publicatie maximaliseert. Dit kan een zorg worden
wanneer veel gepubliceerde resultaten in werkelijkheid incorrect zijn, omdat ze zijn
verkregen door ongeschikte methodes van observatie, analyse en rapportage.
In dit artikel wordt gefocust op de belangrijkste fairy-tale factor in psychologie, namelijk dat
onderzoekers niet vooraf een plan van analyse opstellen voordat ze de data zien.
Bad science: exploratory findings, confirmatory conclusions
Slechte wetenschap ontstaat vaak wanneer psychologen niet voorafgaand aan verzameling
van data specificeren welke analyses ze willen uitvoeren. Deze vrijheid zorgt ervoor dat ze
elk gewenst resultaat kunnen verkrijgen. Vb. cherry picking: veel variabelen meten en alleen
diegene rapporteren die het gewenste resultaat uitlokken.
Psychologen doen dit niet opzettelijk, en als ze dit netjes rapporteren is er geen probleem.
Echter, er is wel sprake van misleiding wanneer deels exploratory onderzoek wordt
geanalyseerd alsof het volkomen confirmatory is. Zo wordt vanuit de data een specifieke
hypothese geformuleerd, dat is achteraf. De data zal daardoor niet meer geschikt zijn voor
het testen van de hypothese, omdat deze niet kan worden weerlegd door dezelfde data.
Double dipping: het uitvoeren van een hypothesetest op dezelfde data die de test in
eerste instantie inspireerde. Hierdoor zullen de statistieken niet-valide zijn. Zo zal de
kans op een Type I error vergroten, en kunnen p-waardes niet worden vertrouwd.
Literatuur: Artikelen (de Groot, Wagenmakers, Kerr, Ioannidis & Open Science Collaboration)
Artikel de Groot
Twee typen onderzoek kunnen van elkaar worden onderscheiden:
Hypothesis testing research (confirmatory): dit type onderzoek wordt vooral
gekarakteriseerd door de derde (deductie) en vierde (testen) fase van de empirische
cyclus. Zo worden vooraf de voorspellingen vanuit de hypotheses en het gehele
analyseplan gespecificeerd, en vervolgens getest.
Material-exploration (exploratory): dit type onderzoek doet wel voorspellingen over
mogelijke associaties in de data, maar bevat niet het testen van vooraf
gespecificeerde hypotheses. De onderzoeker heeft als houding: kijken wat er kan
worden gevonden over bepaald materiaal. De algemene intentie wordt hierbij vaak
beïnvloed door ad-hoc beslissingen.
Hypothesis-generation: de verkregen data wordt gebruikt om nieuwe ideeën
of hypotheses te genereren. Hypotheses komen dus voort uit data.
Single hypothesis: wanneer één vooraf bepaalde hypothese wordt getest op een vooraf
bepaalde manier, kan significantie op de volgende manier worden geïnterpreteerd. Een
positief resultaat betekent dat, uitgaande van H0, de overschrijdingskans voor het vinden
van een effect kleiner is dan de grenswaarde alfa. Ook deze grenswaarde moet vooraf
worden bepaald. Er kunnen echter complicaties ontstaan:
Er zijn meerdere vooraf gestelde hypotheses die tegelijkertijd worden getest.
Het onderzoek bevat elementen van material-exploration research.
Multiple hypotheses: deze situatie lijkt identiek te zijn aan het testen van één hypothese. De
kans op het ten onrechte afwijzen van H0, wanneer H0 waar is in alle gevallen, zou gelijk zijn
aan alfa voor elk van de hypotheses. Echter, de kans dat één of twee van de hypotheses, die
niet vooraf zijn geselecteerd, ten onrechte worden afgewezen, is niet gelijk aan alfa. Omdat
meerdere conclusies kunnen worden getrokken, is de kans op error groter.
Vb. Wanneer er in totaal N = 10 nulhypotheses zijn, is er pas vanaf n = 3 hypotheses
voldoende reden om de gezamenlijke nulhypothese te verwerpen, namelijk dat alle
10 de nulhypotheses waar zijn. De gedachte dat alle drie de hypothesen veroorzaakt
zijn door kans wordt verworpen. Maar de kans blijft echter bestaan dat één of twee
van de drie wel zijn veroorzaakt door toeval.
Material-exploration: het aanwezige empirische materiaal wordt verkend op verschillende
manieren die niet vooraf zijn gespecificeerd. Zo zal de onderzoeker afleiden uit het materiaal
wat er te vinden is, dus ook wat hier accidentally te vinden is. De onderzoeker doet aan
proberen en selecteren:
Trying: experimenteren met verschillende variabelen en operationele definities.
Selecting: het ad hoc selecteren van materiaal dat veelbelovend lijkt te zijn.
, Wanneer de onderzoeker zich laat leiden door ad hoc ideeën, is het lastig te bepalen hoe
groot N moet zijn, oftewel het totaal aantal nulhypotheses. Omdat N onbepaald is, kan de
betekenis van positieve resultaten niet exact worden geïnterpreteerd.
Vb. Er werd onderzocht of door het concentreren op het cijfer 6 op een dobbelsteen
ertoe zou leiden dat dit cijfer significant vaker voorkwam. Uit de resultaten bleek dat
het cijfer alleen in serie 2 en serie 3 vaker voorkwam, maar het idee om deze sessies
te bekijken is ad hoc bepaald. De hypothese bevatte geen voorspelling over serie 2 en
3, waardoor de positieve uitkomsten geen betekenis/bewijs hebben.
Artikel Wagenmakers
Confirmation bias: mensen zoeken informatie die hun geloven bevestigt en niet ontkracht.
Dit werkt op minstens drie manieren:
1. Ambigue informatie wordt geïnterpreteerd als consistent met iemands geloven.
2. Mensen zoeken naar informatie die hun hypotheses bevestigt.
3. Mensen onthouden informatie beter wanneer deze hun positie steunt.
Hindsight bias: de neiging om een gebeurtenis als voorspelbaar te beoordelen nadat het
heeft plaatsgevonden. Oftewel, achteraf zeggen dat je dit al zag aankomen.
Deze biases zouden ook invloed hebben op het onderzoeksproces. Zo proberen
onderzoekers hun hypothese te bevestigen, niet te falsificeren. Ook zouden ze methodes en
procedures gebruiken die hun kans op publicatie maximaliseert. Dit kan een zorg worden
wanneer veel gepubliceerde resultaten in werkelijkheid incorrect zijn, omdat ze zijn
verkregen door ongeschikte methodes van observatie, analyse en rapportage.
In dit artikel wordt gefocust op de belangrijkste fairy-tale factor in psychologie, namelijk dat
onderzoekers niet vooraf een plan van analyse opstellen voordat ze de data zien.
Bad science: exploratory findings, confirmatory conclusions
Slechte wetenschap ontstaat vaak wanneer psychologen niet voorafgaand aan verzameling
van data specificeren welke analyses ze willen uitvoeren. Deze vrijheid zorgt ervoor dat ze
elk gewenst resultaat kunnen verkrijgen. Vb. cherry picking: veel variabelen meten en alleen
diegene rapporteren die het gewenste resultaat uitlokken.
Psychologen doen dit niet opzettelijk, en als ze dit netjes rapporteren is er geen probleem.
Echter, er is wel sprake van misleiding wanneer deels exploratory onderzoek wordt
geanalyseerd alsof het volkomen confirmatory is. Zo wordt vanuit de data een specifieke
hypothese geformuleerd, dat is achteraf. De data zal daardoor niet meer geschikt zijn voor
het testen van de hypothese, omdat deze niet kan worden weerlegd door dezelfde data.
Double dipping: het uitvoeren van een hypothesetest op dezelfde data die de test in
eerste instantie inspireerde. Hierdoor zullen de statistieken niet-valide zijn. Zo zal de
kans op een Type I error vergroten, en kunnen p-waardes niet worden vertrouwd.
