Research Methods 2
Lecture 1
Methodologie verwijst naar een verzameling hulpmiddelen die
het mogelijk maken om overtuigingen te actualiseren via
rationele en empirische middelen. In de sociale wetenschappen
houdt dit in dat theorieën worden geformuleerd die het mogelijk
maken om menselijk gedrag te beschrijven, te verklaren, te
voorspellen en vaak te controleren (zie lezing 3).
Wetenschappelijk onderzoek wordt doorgaans vormgegeven
door de empirische cyclus.
Theorieën beschrijven gevestigde relaties op basis van bestaande data of eerder onderzoek en zijn
vaak conceptueel van aard. Hypotheses beschrijven gehypothetiseerde relaties die nog niet getest
zijn en zijn geoperationaliseerd. Een theorie is een verzameling van hoog-niveau uitspraken die
beschrijven hoe constructen/variabelen zich tot elkaar verhouden op basis van eerdere observaties.
Een theorie bevat vaak impliciete aannames en variabelen. Conceptuele variabelen zijn
variabelen die niet direct te meten zijn (bijv. schoolprestatie) en operationele variabelen zijn
variabelen om conceptuele variabelen te meten (bijv. schoolcijfers, observaties, etc.). Daarnaast
beschrijft een theorie relaties tussen variabelen, proposities. De pijlen geven de oorzaak en
effectrelatie aan tussen de onafhankelijke variabelen en de afhankelijke variabele. Proposities
kunnen getest worden door experimenten en statistische analyses. Belangrijk om te weten is dat
analyse zonder manipulatie zelden het definitieve antwoord geeft.
Operationele definities beschrijven hoe conceptuele constructen
worden gemanipuleerd en/of gemeten. In een experiment testen we
hypothesen over operationele definities.
Onafhankelijke/Verklarende variabele (A) heeft invloed op de
afhankelijke variabele
Afhankelijke/Respons variabele (B) wordt beïnvloed door de
onafhankelijke variabele
Mediërende variabele (C) verklaart de relatie tussen de
onafhankelijke (IV) en afhankelijke variabele (DV)
Modererende variabele (C) verandert de relatie tussen de
onafhankelijke (IV) en afhankelijke variabele (DV), met twee typen aangegeven: type 1 en
type 2
In een experiment is een mediërende variabele een typische variabele die voorkomt bij
meervoudige regressie. Het model illustreert hoe de kwaliteit van de leraar (A) de prestaties op
school (B) beïnvloedt en introduceert het concept van motivatie (C) als een mediator in deze relatie.
Leerkrachtkwaliteit → Schoolprestaties toont een
directe oorzaak-en-gevolgrelatie tussen de kwaliteit
van de leraar en schoolprestaties.
Leerkrachtkwaliteit → Motivatie → Schoolprestaties
geeft aan dat de kwaliteit van de leraar de motivatie
van leerlingen beïnvloedt ('echte' oorzaak), wat op zijn
beurt de schoolprestaties beïnvloedt.
De invloed van leerkrachtkwaliteit op schoolprestaties wordt gemedieerd door
motivatie; betere leerkrachtkwaliteit resulteert in hogere motivatie, wat leidt tot
betere schoolprestaties.
Wanneer A dezelfde invloed op B uitoefent, zelfs wanneer C als voorspeller wordt
toegevoegd, suggereert dit dat de mediatorhypothese onjuist is.
Wanneer het effect van A op B afneemt bij het toevoegen van C als voorspeller, suggereert
dit dat C ten minste gedeeltelijk de relatie tussen A en B medieert.
1
, Research Methods 2
In een experiment is een modererende variabele een typische variabele die voorkomt bij
ANOVA/ANCOVA of meervoudige regressie met een categorische moderator. Het model
illustreert hoe motivatie als moderator kan dienen in de relatie tussen intelligentie en
schoolprestatie.
Intelligentie → Schoolprestaties toont een
directe oorzaak-en-gevolgrelatie tussen
intelligentie en schoolprestaties
Intelligentie → Schoolprestaties met Motivatie
geeft aan dat de relatie tussen intelligentie en
schoolprestaties verandert, afhankelijk van
motivatie.
De invloed van intelligentie op schoolprestaties wordt gemodereerd door motivatie; hogere
intelligentie leidt tot betere schoolprestaties, wat wordt versterkt met een hogere motivatie.
Wanneer C interactie heeft met A, kan dit suggereren dat C de relatie tussen A en B
modereert.
Bepaalde standaarden/criteria waaraan goede theorieën moeten voldoen zijn logische consistentie,
falsifieerbaarheid, helderheid (specifiek), in overeenstemming met data, parsimonieus (spaarzaam),
consistent met andere gevestigde theorieën, verklarend en nuttig/voorspellend.
Het formuleren van een onderzoeksvraag naar een hypothese gaat als volgt:
1. Selecteer een onderwerp
2. Review literatuur
3. Formuleer probleem/vraag
4. Review literatuur
5. Formuleer hypothese
Verschillende soorten wetenschappelijke bronnen zijn:
Review literatuur
Het aantal citaten is vaak een indicatie van zowel kwaliteit als impact op de wetenschappelijke
gemeenschap. Het type tijdschrift kan een indicatie zijn van kwaliteit en impact. De primaire bron
moet wetenschappelijk zijn (peer-reviewed artikelen of boeken). Gebruik zoektermen in
wetenschappelijke zoekmachines, zoals https://scholar.google.nl en
https://vu.on.worldcat.org/discovery (beperk tot psychologieliteratuur door PsycINFO te selecteren).
Empirisch/onderzoeksartikel
Empirische/onderzoeksartikelen geeft de onderzoeksvraag, methode, resultaten en conclusie weer
in de samenvatting. Het hoofdgedeelte heeft een typische organisatie van inleiding - methoden -
resultaten - conclusie. Raadpleeg de abstract om te controleren of het artikel daadwerkelijk een
empirisch/onderzoeksartikel is.
Review- en opinieartikelen
Reviews vatten onderzoek samen uit vele studies en bevatten meestal geen methoden/resultaten
(tenzij het een meta-analyse is). Reviews kunnen zeer nuttig zijn om snel een overzicht van het
veld te krijgen of om relevante referenties te identificeren. Opinies hebben ook een sterk
theoretisch en/of kritisch referentiekader en/of een duidelijke hypothese.
Commentaar
Een commentaar op iemands anders artikel, vaak met het uiteenzetten van bezwaren en/of fouten
in het doelartikel bevat typisch geen samenvatting en geen methoden/resultaten. Vaak mogen de
oorspronkelijke auteurs reageren op een commentaar.
Peer-reviewed vs non-peer reviewed (grijze literatuur)
Tegenwoordig worden veel artikelen al gepubliceerd op een pre-print server vóór peer-review om
open wetenschap en verspreiding te bevorderen, bijvoorbeeld https://psyarxiv.com of
2
, Research Methods 2
https://www.biorxiv.org. Vaak worden deze ook gepubliceerd in een peer-reviewed artikel, maar niet
altijd. Ongeveer 1/3 wordt nooit gepubliceerd. Andere voorbeelden van grijze literatuur zijn
conferenties, technische rapporten, overheidspublicaties, scripties (Bachelor, Master, PhD).
Hoe lees je literatuur?
Lees met een doel:
Lees eerst het doel om te zien of het artikel relevant is.
Kijk dan naar figuren en conclusie: Zijn de conclusies logisch?
Als het artikel zeer relevant is, lees dan de methoden en resultaten: Wat was het
experimentele ontwerp? Confounds?
Als het artikel zeer relevant is: zoek naar artikelen die dat artikel citeren en/of kijk in de
inleiding om te zien welke artikelen zij citeren.
Probeer niet alles te begrijpen tenzij het cruciaal is voor je eigen onderzoek.
Hoe vat je een onderzoeksartikel samen?
Beschrijf kort de hoofdonderzoeksvraag en hypotheses
Benoem de onafhankelijke/verklarende variabelen, afhankelijke/reactievariabelen en/of
eventuele andere mediërende/modererende variabelen
Beschrijf kort het hoofdresultaat (hoe variabelen gerelateerd waren) en de hoofdconclusie
Lecture 2
Om de kwaliteit en ethische behandeling van deelnemers in het onderzoek te waarborgen, is het
van belang om de onderzoeksvraag en hypothese goed te formuleren. Eerst selecteer je een
onderwerp dat je wilt onderzoeken. Vervolgens voer je een grondige literatuurstudie uit om de
bestaande kennis over het onderwerp te begrijpen. Dan formuleer je een probleem of vraag op
basis van de literatuurstudie. Daarna formuleer je een hypothese die de relatie tussen de
variabelen in je onderzoeksvraag voorspelt.
Zorg ervoor dat je hypothese operationeel is, wat betekent dat het meetbaar is en dat je kunt
bepalen hoe je het zult testen. Vermijd het formuleren van suggestieve, emotionele of
dubbelzinnige vragen in je vragenlijst, en zorg ervoor dat de taal begrijpelijk is voor de deelnemers.
Hypotheses moeten altijd worden gespecificeerd voordat je gepland onderzoek uitvoert, en vermijd
frauduleus gedrag.
Om bij te dragen aan de transparantie en betrouwbaarheid van wetenschappelijk onderzoek, is
pre-registratie wenselijk. Pre-registratie betreft een proces waarbij je je experimenteel ontwerp,
hypotheses en analyseplan opschrijft voordat je je onderzoek uitvoert. Dit minimaliseert
Questionable Research Practices (QRP’s), oftewel twijfelachtige onderzoekspraktijken.
Voorbeelden van QRP’s zijn:
HARK-ing (hypotheses)
HARK-ing verwijst naar het gedrag van onderzoekers die hun gegevens inspecteren om
'interessante patronen' te vinden en vervolgens doen alsof ze hypotheses hadden over deze
patronen in hun publicatie. Dit gedrag tast de geloofwaardigheid van onderzoek aan en kan
leiden tot vertekende resultaten.
P-hacking (analyses)
P-hacking is een term die wordt gebruikt om de praktijk te beschrijven van het uitvoeren van
meerdere statistische tests op gegevens totdat er een significant resultaat wordt gevonden,
en vervolgens alleen het significante resultaat te rapporteren. Dit kan leiden tot valse
positieven en vertekende onderzoeksresultaten.
Publicatiebias (rapportage)
Een publicatiebias verwijst naar de vertekening die kan optreden in de gepubliceerde
literatuur doordat studies met positieve resultaten vaker worden gepubliceerd dan studies
met negatieve of niet-bevestigende resultaten. Dit kan leiden tot een vertekend beeld van
de werkelijke effecten van een behandeling of interventie.
Pre-registratie is niet altijd haalbaar, maar hypothesen moeten altijd gespecificeerd worden voordat
je gepland onderzoek uitvoert!
3
Lecture 1
Methodologie verwijst naar een verzameling hulpmiddelen die
het mogelijk maken om overtuigingen te actualiseren via
rationele en empirische middelen. In de sociale wetenschappen
houdt dit in dat theorieën worden geformuleerd die het mogelijk
maken om menselijk gedrag te beschrijven, te verklaren, te
voorspellen en vaak te controleren (zie lezing 3).
Wetenschappelijk onderzoek wordt doorgaans vormgegeven
door de empirische cyclus.
Theorieën beschrijven gevestigde relaties op basis van bestaande data of eerder onderzoek en zijn
vaak conceptueel van aard. Hypotheses beschrijven gehypothetiseerde relaties die nog niet getest
zijn en zijn geoperationaliseerd. Een theorie is een verzameling van hoog-niveau uitspraken die
beschrijven hoe constructen/variabelen zich tot elkaar verhouden op basis van eerdere observaties.
Een theorie bevat vaak impliciete aannames en variabelen. Conceptuele variabelen zijn
variabelen die niet direct te meten zijn (bijv. schoolprestatie) en operationele variabelen zijn
variabelen om conceptuele variabelen te meten (bijv. schoolcijfers, observaties, etc.). Daarnaast
beschrijft een theorie relaties tussen variabelen, proposities. De pijlen geven de oorzaak en
effectrelatie aan tussen de onafhankelijke variabelen en de afhankelijke variabele. Proposities
kunnen getest worden door experimenten en statistische analyses. Belangrijk om te weten is dat
analyse zonder manipulatie zelden het definitieve antwoord geeft.
Operationele definities beschrijven hoe conceptuele constructen
worden gemanipuleerd en/of gemeten. In een experiment testen we
hypothesen over operationele definities.
Onafhankelijke/Verklarende variabele (A) heeft invloed op de
afhankelijke variabele
Afhankelijke/Respons variabele (B) wordt beïnvloed door de
onafhankelijke variabele
Mediërende variabele (C) verklaart de relatie tussen de
onafhankelijke (IV) en afhankelijke variabele (DV)
Modererende variabele (C) verandert de relatie tussen de
onafhankelijke (IV) en afhankelijke variabele (DV), met twee typen aangegeven: type 1 en
type 2
In een experiment is een mediërende variabele een typische variabele die voorkomt bij
meervoudige regressie. Het model illustreert hoe de kwaliteit van de leraar (A) de prestaties op
school (B) beïnvloedt en introduceert het concept van motivatie (C) als een mediator in deze relatie.
Leerkrachtkwaliteit → Schoolprestaties toont een
directe oorzaak-en-gevolgrelatie tussen de kwaliteit
van de leraar en schoolprestaties.
Leerkrachtkwaliteit → Motivatie → Schoolprestaties
geeft aan dat de kwaliteit van de leraar de motivatie
van leerlingen beïnvloedt ('echte' oorzaak), wat op zijn
beurt de schoolprestaties beïnvloedt.
De invloed van leerkrachtkwaliteit op schoolprestaties wordt gemedieerd door
motivatie; betere leerkrachtkwaliteit resulteert in hogere motivatie, wat leidt tot
betere schoolprestaties.
Wanneer A dezelfde invloed op B uitoefent, zelfs wanneer C als voorspeller wordt
toegevoegd, suggereert dit dat de mediatorhypothese onjuist is.
Wanneer het effect van A op B afneemt bij het toevoegen van C als voorspeller, suggereert
dit dat C ten minste gedeeltelijk de relatie tussen A en B medieert.
1
, Research Methods 2
In een experiment is een modererende variabele een typische variabele die voorkomt bij
ANOVA/ANCOVA of meervoudige regressie met een categorische moderator. Het model
illustreert hoe motivatie als moderator kan dienen in de relatie tussen intelligentie en
schoolprestatie.
Intelligentie → Schoolprestaties toont een
directe oorzaak-en-gevolgrelatie tussen
intelligentie en schoolprestaties
Intelligentie → Schoolprestaties met Motivatie
geeft aan dat de relatie tussen intelligentie en
schoolprestaties verandert, afhankelijk van
motivatie.
De invloed van intelligentie op schoolprestaties wordt gemodereerd door motivatie; hogere
intelligentie leidt tot betere schoolprestaties, wat wordt versterkt met een hogere motivatie.
Wanneer C interactie heeft met A, kan dit suggereren dat C de relatie tussen A en B
modereert.
Bepaalde standaarden/criteria waaraan goede theorieën moeten voldoen zijn logische consistentie,
falsifieerbaarheid, helderheid (specifiek), in overeenstemming met data, parsimonieus (spaarzaam),
consistent met andere gevestigde theorieën, verklarend en nuttig/voorspellend.
Het formuleren van een onderzoeksvraag naar een hypothese gaat als volgt:
1. Selecteer een onderwerp
2. Review literatuur
3. Formuleer probleem/vraag
4. Review literatuur
5. Formuleer hypothese
Verschillende soorten wetenschappelijke bronnen zijn:
Review literatuur
Het aantal citaten is vaak een indicatie van zowel kwaliteit als impact op de wetenschappelijke
gemeenschap. Het type tijdschrift kan een indicatie zijn van kwaliteit en impact. De primaire bron
moet wetenschappelijk zijn (peer-reviewed artikelen of boeken). Gebruik zoektermen in
wetenschappelijke zoekmachines, zoals https://scholar.google.nl en
https://vu.on.worldcat.org/discovery (beperk tot psychologieliteratuur door PsycINFO te selecteren).
Empirisch/onderzoeksartikel
Empirische/onderzoeksartikelen geeft de onderzoeksvraag, methode, resultaten en conclusie weer
in de samenvatting. Het hoofdgedeelte heeft een typische organisatie van inleiding - methoden -
resultaten - conclusie. Raadpleeg de abstract om te controleren of het artikel daadwerkelijk een
empirisch/onderzoeksartikel is.
Review- en opinieartikelen
Reviews vatten onderzoek samen uit vele studies en bevatten meestal geen methoden/resultaten
(tenzij het een meta-analyse is). Reviews kunnen zeer nuttig zijn om snel een overzicht van het
veld te krijgen of om relevante referenties te identificeren. Opinies hebben ook een sterk
theoretisch en/of kritisch referentiekader en/of een duidelijke hypothese.
Commentaar
Een commentaar op iemands anders artikel, vaak met het uiteenzetten van bezwaren en/of fouten
in het doelartikel bevat typisch geen samenvatting en geen methoden/resultaten. Vaak mogen de
oorspronkelijke auteurs reageren op een commentaar.
Peer-reviewed vs non-peer reviewed (grijze literatuur)
Tegenwoordig worden veel artikelen al gepubliceerd op een pre-print server vóór peer-review om
open wetenschap en verspreiding te bevorderen, bijvoorbeeld https://psyarxiv.com of
2
, Research Methods 2
https://www.biorxiv.org. Vaak worden deze ook gepubliceerd in een peer-reviewed artikel, maar niet
altijd. Ongeveer 1/3 wordt nooit gepubliceerd. Andere voorbeelden van grijze literatuur zijn
conferenties, technische rapporten, overheidspublicaties, scripties (Bachelor, Master, PhD).
Hoe lees je literatuur?
Lees met een doel:
Lees eerst het doel om te zien of het artikel relevant is.
Kijk dan naar figuren en conclusie: Zijn de conclusies logisch?
Als het artikel zeer relevant is, lees dan de methoden en resultaten: Wat was het
experimentele ontwerp? Confounds?
Als het artikel zeer relevant is: zoek naar artikelen die dat artikel citeren en/of kijk in de
inleiding om te zien welke artikelen zij citeren.
Probeer niet alles te begrijpen tenzij het cruciaal is voor je eigen onderzoek.
Hoe vat je een onderzoeksartikel samen?
Beschrijf kort de hoofdonderzoeksvraag en hypotheses
Benoem de onafhankelijke/verklarende variabelen, afhankelijke/reactievariabelen en/of
eventuele andere mediërende/modererende variabelen
Beschrijf kort het hoofdresultaat (hoe variabelen gerelateerd waren) en de hoofdconclusie
Lecture 2
Om de kwaliteit en ethische behandeling van deelnemers in het onderzoek te waarborgen, is het
van belang om de onderzoeksvraag en hypothese goed te formuleren. Eerst selecteer je een
onderwerp dat je wilt onderzoeken. Vervolgens voer je een grondige literatuurstudie uit om de
bestaande kennis over het onderwerp te begrijpen. Dan formuleer je een probleem of vraag op
basis van de literatuurstudie. Daarna formuleer je een hypothese die de relatie tussen de
variabelen in je onderzoeksvraag voorspelt.
Zorg ervoor dat je hypothese operationeel is, wat betekent dat het meetbaar is en dat je kunt
bepalen hoe je het zult testen. Vermijd het formuleren van suggestieve, emotionele of
dubbelzinnige vragen in je vragenlijst, en zorg ervoor dat de taal begrijpelijk is voor de deelnemers.
Hypotheses moeten altijd worden gespecificeerd voordat je gepland onderzoek uitvoert, en vermijd
frauduleus gedrag.
Om bij te dragen aan de transparantie en betrouwbaarheid van wetenschappelijk onderzoek, is
pre-registratie wenselijk. Pre-registratie betreft een proces waarbij je je experimenteel ontwerp,
hypotheses en analyseplan opschrijft voordat je je onderzoek uitvoert. Dit minimaliseert
Questionable Research Practices (QRP’s), oftewel twijfelachtige onderzoekspraktijken.
Voorbeelden van QRP’s zijn:
HARK-ing (hypotheses)
HARK-ing verwijst naar het gedrag van onderzoekers die hun gegevens inspecteren om
'interessante patronen' te vinden en vervolgens doen alsof ze hypotheses hadden over deze
patronen in hun publicatie. Dit gedrag tast de geloofwaardigheid van onderzoek aan en kan
leiden tot vertekende resultaten.
P-hacking (analyses)
P-hacking is een term die wordt gebruikt om de praktijk te beschrijven van het uitvoeren van
meerdere statistische tests op gegevens totdat er een significant resultaat wordt gevonden,
en vervolgens alleen het significante resultaat te rapporteren. Dit kan leiden tot valse
positieven en vertekende onderzoeksresultaten.
Publicatiebias (rapportage)
Een publicatiebias verwijst naar de vertekening die kan optreden in de gepubliceerde
literatuur doordat studies met positieve resultaten vaker worden gepubliceerd dan studies
met negatieve of niet-bevestigende resultaten. Dit kan leiden tot een vertekend beeld van
de werkelijke effecten van een behandeling of interventie.
Pre-registratie is niet altijd haalbaar, maar hypothesen moeten altijd gespecificeerd worden voordat
je gepland onderzoek uitvoert!
3
