Methodologie 2
Hoorcollege 1
Inleiding in theoretisch kader en literatuur
Onderzoeksmethoden
Deze verwijzen naar de verzameling rationele en empirische middelen die iemand in staat stellen overtuigingen
bij te stellen. We hebben een idee, dit willen we toetsen en bijstellen. We hebben een theorie of stellen dit bij
en dit is goed voor het beschrijven, verklaren of voorspellen en soms controleren (lecture 3)
Van theorie naar data en terug: de empirische cyclus
We hebben een fenomeen die we willen verklaren. We hebben een theorie die hopelijk dit al een beetje
verklaard en we willen kijken of dit klopt. Dit doe je door opstellen onderzoeksvraag en die beantwoord je
middels onderzoek ontwerp. We krijgen data en toetsen dit en klopt dit adv mijn verwachting? Wat gebeurt er
dan: de theorie wordt ondersteunt of we sleutelen niet aan die theorie, maar aan het onderzoeksopzet wat
sleutelen. De theorie lijkt niet te vallen! Je past het aan of je past je onderzoek ontwerp aan. Je vindt enkel
ondersteuning.
Theorie = set van uitspraken die beschrijven hoe constructies/variabelen zich tot elkaar verhouden op basis van
eerdere waarnemingen
Onderdelen van theorieën
- Aannames: zijn vaak impliciet, dus stel als je een vragenlijst hebt die intelligentie meet en je voert
metingen uit. Je gaat er dan vanuit dat deelnemende mensen die vragenlijsten op dezelfde manier
interpreteren. We kijken naar dezelfde normen en waarden, maar dit kan anders zijn. Denk aan
culturele verwarring waardoor je de vraag niet begrijpt.
- Variabelen: conceptuele en geoperationaliseerde constructen
- Proposities: relaties tussen variabelen
Conceptuele constructen zijn abstract, dus kunnen niet(!) direct gemeten worden, geoperationaliseerde
constructuren zijn concreet(!), dus kunnen wel direct worden gemeten.
Variabelen: iets wat je onderzoekt of meet waar je een bepaald niveau aan kan hangen. Een operationele
definitie beschrijft hoe conceptuele constructen worden gemanipuleerd en/of gemeten.
- Dit kan middels zelfrapportage, de scores checken en observaties, bij bijvoorbeeld school. Dit is dan je
conceptuele variabele.
‘’Welke cijfers haal je vaak?’’ MC met A, A en B, B en B en C. Dit kun je zelf invullen, de records worden gecheckt
en de docenten observeren. Dit is dan geoperationaliseerd.
Proposities:
We hebben verklarende/onafhankelijke variabelen en afhankelijke variabelen/respons
Onafhankelijk is gemanipuleerd in je onderzoek, afhankelijk niet (dit meet je gewoon).
- Docentkwaliteit, motivatie en intelligentie (verklarend) schoolresultaten (respons). We kunnen
hier een oorzaak-gevolg situatie trekken. Dit is trouwens een model: het is ongecorreleerd,
onafhankelijk en orthogonaal.
- Proposities kunnen worden getest door middel van experimenten en statistische analyses.
- Alléén analyse zonder manipulatie geeft zelden het definitieve antwoord!
Je ziet dat docent, motivatie en intelligentie niet samenhangen hier.
1
,Verschil tussen een theorie en hypothese:
- Theorieën beschrijven bevestigde relaties op basis van bestaande gegevens/onderzoek – conceptueel
- Hypotheses beschrijven veronderstelde relaties die nog niet zijn getest – geoperationaliseerd
Hypothese
In een experiment toetsen we een hypothese over een operationele definitie, omdat het een relatie is die nog
niet is getest.
Plaatje 1: A heeft invloed op B
Plaatje 2: A heeft invloed op B via C. A zorgt voor C, wat weer voor B zorgt. Ofwel; mediatie = kettingrelatie
Plaatje 3: C verandert de relatie tussen A en B. Stel, we hebben een verband tussen A en B, dan zorgt C ervoor
dat dit verband verandert. Ofwel; moderatie = interactie-effect
Mediatie, waarom?
Stel we onderzoeken de kwaliteit van docenten en het gevolg daarvan op het behalen van schoolresultaten.
‘’De gegeven lessen door J. Fahrenfort zorgen voor X prestaties’’ Je stelt dan dat de docent de oorzaak is en het
behalen van de resultaten het gevolg. Hier is onze variabele, bijvoorbeeld voor nu motivatie of IQ, moet een
tussenstapje zijn,
Het effect van lerarenkwaliteit op schoolprestaties wordt gemedieerd door motivatie: betere lerarenkwaliteit
resulteert in een hogere motivatie, wat resulteert in hogere schoolprestaties
Mediërende relatie = een relatie waarbij je de waarom vraag stelt. Als je denkt dat de kwaliteit ergens vanaf
hangt. Kettingrelatie, dus via iets anders. Er kan zowel directe als indirecte relatie zijn.
Hoe analyseer je dit?
- Standaardanalyse is middels een meervoudige regressie, maar normaliter gebruiken we meerdere
statistische toetsen/combinatie hiervan.
- Wanneer A dezelfde invloed uitoefent op B, zelfs wanneer C als voorspeller wordt toegevoegd,
suggereert dit dat de mediatorhypothese verkeerd is
- Wanneer het verklarende effect van A op B minder groot is na het opnemen van C als voorspeller,
suggereert dit dat C op zijn minst gedeeltelijk de relatie tussen A en B medieert.
2
,Moderator, en nu?
Stel, intelligentie is de oorzaak en schoolprestaties het gevolg. Hoe slimmer je bent, hoe hoger je scoort. Echter,
als we motivatie meenemen als verband kan dit heel anders uitpakken. Als de motivatie hoog is, zien we een
relatie tussen IQ en schoolprestatie. Stel, we hebben een onwijs ongemotiveerde student, dan zien we amper
een relatie tussen IQ en schoolprestaties.
Hoe analyseer je dit?
- Standaardanalyse is middels ANOVA/ANCOVA of meervoudige regressie met categorische moderator
- Wanneer C interacteert met A, kan dit suggereren dat C de relatie tussen A en B modereert
- Het vaststellen van moderatie vereist slechts één statistische test
Criteria voor goede theorieën:
- Logisch consistent = de relaties hangen samen met elkaar zonder tegenspraak
- Falsifieerbaar = ze kunnen ook onjuist zijn
- Helder
- In overeenstemming met data
- Spaarzaam = makkelijk model
- Consistent met andere geaccepteerde theorieën
- Voldoende verklarende kracht = je begrijpt het als je het ziet
- Zinvol en voorspellend (vruchtbaar)
Wetenschappelijke methode: academisch publiceren
Ik heb een onderzoek geschreven: pmc studenten ervaren meer stress dan overige studenten. Dit lijkt te komen
door werk (welk verband)?
1. Kies een tijdschrift om je manuscript naar toe te sturen – Elsevier
2. De editor van de Elsevier besluit het manuscript voor peer review te sturen of af te wijzen
3. Peer review: ten minste twee collega-onderzoekers lezen dit en schrijven een recensie over sterke of
zwakke punten
4. De editor gebruikt de reviews om op basis hiervan je te laten publiceren, het te weigeren of het te
laten herzien.
5. De schrijver van het onderzoek gaat in op de kritiek, waaronder: iets wijzigen, de gegevens
heranalyseren of meer onderzoek doen.
6. De editor beslist: accepteren, meer revisie of afwijzen.
Peer review wordt ook wel benoemd als kapot. Peer review is het beste systeem dat we hebben om de juistheid
van onderzoeksmethoden te evalueren
- Echter, is het vaak moeilijk om reviewers te vinden
- De beslissing van de Editor om af te wijzen of te herzien kan gedeeltelijk gebaseerd zijn op hoeveel
'geluk' je hebt. Heb je toevallig iemand voor je neus liggen die het onderzoek support, heb je grotere
kans op. Als je de concurrent voor je hebt, is de kans kleiner. Na afwijzing worden veel reviews niet
meer gebruikt, doordat men het elders probeert.
Academisch publiceren is kapot.
- De meeste uitgevers hebben een winstoogmerk, zoals Elsevier en de Springer-Nature-groep
- Veel tijdschriften zijn 'gesloten': je moet betalen om toegang te krijgen tot artikelen: grote
bibliotheekabonnementskosten betalen EN betalen om te publiceren
- Al deze betaalde inhoud is gemaakt door middel van dure subsidies (beurzen) betaald met
belastinggeld
3
, Je hebt peer-reviewed vs non-peer reviewed
Veel artikelen worden gepubliceerd op zogeheten pre-print servers voorafgaand aan de peer review. Dit is om
open wetenschap en verspreiding te bevorderen. Vaak worden deze ook wel gepubliceerd in peer reviewed
artikelen, maar niet altijd. Andere voorbeelden van literatuur die je hier kan vinden: theses, PhD, technische
rapporten, conferenties etcerera.
We maken onderscheid tussen roofzuchtige tijdschriften en ijdele pers
1. Roofzuchtige tijdschriften: tijdschriften die geld verdienen door zoveel mogelijk artikelen te publiceren,
vaak beweren dat ze een werkende peer review hebben die niet aanwezig of aanzienlijk gebrekkig is.
2. Vanity press: auteurs betalen om hun werk te laten publiceren; er wordt geen peer-review beloofd
door de uitgever en er wordt geen kwaliteitscontrole uitgevoerd
DOI: digital object identifier
Een digitale identificatie die een tijdschriftartikel uniek identificeert (kan ook worden gekoppeld aan andere
dingen, zoals datasets) met unieke link.
Hoorcollege 2
Er zijn vier soorten validiteiten
1. Interne validiteit
2. Externe validiteit
3. Statistische validiteit
4. Construct validiteit
Fraude?
In bevestigend onderzoek moeten hypotheses van tevoren altijd(!) worden gesteld. In de data ga je niet kijken
naar je data en eventuele hypothesen, je formuleert eerst je hypothese, harking. Alsof je dit van tevoren al
had bedacht, maar je data is al bekend en daarna ga je zoeken naar hypothese. Dit is fraude. Dit is niet handig,
omdat je dan de kans hebt op een grotere type 1 fout. Je toevallige bevinding kan dan worden gezien als
significant, maar dit kan toeval zijn. Dit is dan alsof je van tevoren hier een plan voor had en dat klopt niet. Je
vergroot je type 1 fouten.
P-hacking
Verzamelterm voor dingen die je kan om je statistische toetsen op te krikken. Dit is middels dezelfde manier als
harking.
- Meerdere analyses of toetsen uitvoeren, maar alleen de analyses rapporteren die significante
resultaten opleveren
- Variabelen laten vallen of toevoegen totdat significantie is bereikt.
- Outliers verwijderen om resultaten te veranderen, zodat je p significant is.
- Meer gegevens verzamelen na het checken van significantie (optioneel stoppen)
- Meerdere statistische tests proberen, maar enkel de toetsen rapporteren die significant zijn. Zoals t-
toets, f-toets.
Hoe is p-hacking gerelateerd aan Harking?
Je hebt van tevoren nu geen plan, hetzelfde als bij harking, waarbij je de hypothese aanpast aan de hand van
je resultaten. Het zorgt allebei voor een toename van je type 1 fout.
Publicatiebias
Publicatiebias doet zich voor wanneer studies met statistisch significante of positieve resultaten eerder worden
gepubliceerd dan studies met nul= of negatieve resultaten
Waarom is dit? Geld! Significante resultaten zijn natuurlijk beter dan iets anders, omdat dit erg goed is!
Hoe is dit gerelateerd aan harking en p-hacking?
Het is een toename van type 1-fouten.
Dus je p-hacking, harking en publicatiebias leidt tot de replicatiecrisis. Je komt niet tot juiste conclusies,
vanwege je type 1 fouten. Het getal loopt verder op dan je 5% significantie niveau en dan kun je de resultaten
of studie niet opnieuw doen. Hoe voorkomen we dit?
4
Hoorcollege 1
Inleiding in theoretisch kader en literatuur
Onderzoeksmethoden
Deze verwijzen naar de verzameling rationele en empirische middelen die iemand in staat stellen overtuigingen
bij te stellen. We hebben een idee, dit willen we toetsen en bijstellen. We hebben een theorie of stellen dit bij
en dit is goed voor het beschrijven, verklaren of voorspellen en soms controleren (lecture 3)
Van theorie naar data en terug: de empirische cyclus
We hebben een fenomeen die we willen verklaren. We hebben een theorie die hopelijk dit al een beetje
verklaard en we willen kijken of dit klopt. Dit doe je door opstellen onderzoeksvraag en die beantwoord je
middels onderzoek ontwerp. We krijgen data en toetsen dit en klopt dit adv mijn verwachting? Wat gebeurt er
dan: de theorie wordt ondersteunt of we sleutelen niet aan die theorie, maar aan het onderzoeksopzet wat
sleutelen. De theorie lijkt niet te vallen! Je past het aan of je past je onderzoek ontwerp aan. Je vindt enkel
ondersteuning.
Theorie = set van uitspraken die beschrijven hoe constructies/variabelen zich tot elkaar verhouden op basis van
eerdere waarnemingen
Onderdelen van theorieën
- Aannames: zijn vaak impliciet, dus stel als je een vragenlijst hebt die intelligentie meet en je voert
metingen uit. Je gaat er dan vanuit dat deelnemende mensen die vragenlijsten op dezelfde manier
interpreteren. We kijken naar dezelfde normen en waarden, maar dit kan anders zijn. Denk aan
culturele verwarring waardoor je de vraag niet begrijpt.
- Variabelen: conceptuele en geoperationaliseerde constructen
- Proposities: relaties tussen variabelen
Conceptuele constructen zijn abstract, dus kunnen niet(!) direct gemeten worden, geoperationaliseerde
constructuren zijn concreet(!), dus kunnen wel direct worden gemeten.
Variabelen: iets wat je onderzoekt of meet waar je een bepaald niveau aan kan hangen. Een operationele
definitie beschrijft hoe conceptuele constructen worden gemanipuleerd en/of gemeten.
- Dit kan middels zelfrapportage, de scores checken en observaties, bij bijvoorbeeld school. Dit is dan je
conceptuele variabele.
‘’Welke cijfers haal je vaak?’’ MC met A, A en B, B en B en C. Dit kun je zelf invullen, de records worden gecheckt
en de docenten observeren. Dit is dan geoperationaliseerd.
Proposities:
We hebben verklarende/onafhankelijke variabelen en afhankelijke variabelen/respons
Onafhankelijk is gemanipuleerd in je onderzoek, afhankelijk niet (dit meet je gewoon).
- Docentkwaliteit, motivatie en intelligentie (verklarend) schoolresultaten (respons). We kunnen
hier een oorzaak-gevolg situatie trekken. Dit is trouwens een model: het is ongecorreleerd,
onafhankelijk en orthogonaal.
- Proposities kunnen worden getest door middel van experimenten en statistische analyses.
- Alléén analyse zonder manipulatie geeft zelden het definitieve antwoord!
Je ziet dat docent, motivatie en intelligentie niet samenhangen hier.
1
,Verschil tussen een theorie en hypothese:
- Theorieën beschrijven bevestigde relaties op basis van bestaande gegevens/onderzoek – conceptueel
- Hypotheses beschrijven veronderstelde relaties die nog niet zijn getest – geoperationaliseerd
Hypothese
In een experiment toetsen we een hypothese over een operationele definitie, omdat het een relatie is die nog
niet is getest.
Plaatje 1: A heeft invloed op B
Plaatje 2: A heeft invloed op B via C. A zorgt voor C, wat weer voor B zorgt. Ofwel; mediatie = kettingrelatie
Plaatje 3: C verandert de relatie tussen A en B. Stel, we hebben een verband tussen A en B, dan zorgt C ervoor
dat dit verband verandert. Ofwel; moderatie = interactie-effect
Mediatie, waarom?
Stel we onderzoeken de kwaliteit van docenten en het gevolg daarvan op het behalen van schoolresultaten.
‘’De gegeven lessen door J. Fahrenfort zorgen voor X prestaties’’ Je stelt dan dat de docent de oorzaak is en het
behalen van de resultaten het gevolg. Hier is onze variabele, bijvoorbeeld voor nu motivatie of IQ, moet een
tussenstapje zijn,
Het effect van lerarenkwaliteit op schoolprestaties wordt gemedieerd door motivatie: betere lerarenkwaliteit
resulteert in een hogere motivatie, wat resulteert in hogere schoolprestaties
Mediërende relatie = een relatie waarbij je de waarom vraag stelt. Als je denkt dat de kwaliteit ergens vanaf
hangt. Kettingrelatie, dus via iets anders. Er kan zowel directe als indirecte relatie zijn.
Hoe analyseer je dit?
- Standaardanalyse is middels een meervoudige regressie, maar normaliter gebruiken we meerdere
statistische toetsen/combinatie hiervan.
- Wanneer A dezelfde invloed uitoefent op B, zelfs wanneer C als voorspeller wordt toegevoegd,
suggereert dit dat de mediatorhypothese verkeerd is
- Wanneer het verklarende effect van A op B minder groot is na het opnemen van C als voorspeller,
suggereert dit dat C op zijn minst gedeeltelijk de relatie tussen A en B medieert.
2
,Moderator, en nu?
Stel, intelligentie is de oorzaak en schoolprestaties het gevolg. Hoe slimmer je bent, hoe hoger je scoort. Echter,
als we motivatie meenemen als verband kan dit heel anders uitpakken. Als de motivatie hoog is, zien we een
relatie tussen IQ en schoolprestatie. Stel, we hebben een onwijs ongemotiveerde student, dan zien we amper
een relatie tussen IQ en schoolprestaties.
Hoe analyseer je dit?
- Standaardanalyse is middels ANOVA/ANCOVA of meervoudige regressie met categorische moderator
- Wanneer C interacteert met A, kan dit suggereren dat C de relatie tussen A en B modereert
- Het vaststellen van moderatie vereist slechts één statistische test
Criteria voor goede theorieën:
- Logisch consistent = de relaties hangen samen met elkaar zonder tegenspraak
- Falsifieerbaar = ze kunnen ook onjuist zijn
- Helder
- In overeenstemming met data
- Spaarzaam = makkelijk model
- Consistent met andere geaccepteerde theorieën
- Voldoende verklarende kracht = je begrijpt het als je het ziet
- Zinvol en voorspellend (vruchtbaar)
Wetenschappelijke methode: academisch publiceren
Ik heb een onderzoek geschreven: pmc studenten ervaren meer stress dan overige studenten. Dit lijkt te komen
door werk (welk verband)?
1. Kies een tijdschrift om je manuscript naar toe te sturen – Elsevier
2. De editor van de Elsevier besluit het manuscript voor peer review te sturen of af te wijzen
3. Peer review: ten minste twee collega-onderzoekers lezen dit en schrijven een recensie over sterke of
zwakke punten
4. De editor gebruikt de reviews om op basis hiervan je te laten publiceren, het te weigeren of het te
laten herzien.
5. De schrijver van het onderzoek gaat in op de kritiek, waaronder: iets wijzigen, de gegevens
heranalyseren of meer onderzoek doen.
6. De editor beslist: accepteren, meer revisie of afwijzen.
Peer review wordt ook wel benoemd als kapot. Peer review is het beste systeem dat we hebben om de juistheid
van onderzoeksmethoden te evalueren
- Echter, is het vaak moeilijk om reviewers te vinden
- De beslissing van de Editor om af te wijzen of te herzien kan gedeeltelijk gebaseerd zijn op hoeveel
'geluk' je hebt. Heb je toevallig iemand voor je neus liggen die het onderzoek support, heb je grotere
kans op. Als je de concurrent voor je hebt, is de kans kleiner. Na afwijzing worden veel reviews niet
meer gebruikt, doordat men het elders probeert.
Academisch publiceren is kapot.
- De meeste uitgevers hebben een winstoogmerk, zoals Elsevier en de Springer-Nature-groep
- Veel tijdschriften zijn 'gesloten': je moet betalen om toegang te krijgen tot artikelen: grote
bibliotheekabonnementskosten betalen EN betalen om te publiceren
- Al deze betaalde inhoud is gemaakt door middel van dure subsidies (beurzen) betaald met
belastinggeld
3
, Je hebt peer-reviewed vs non-peer reviewed
Veel artikelen worden gepubliceerd op zogeheten pre-print servers voorafgaand aan de peer review. Dit is om
open wetenschap en verspreiding te bevorderen. Vaak worden deze ook wel gepubliceerd in peer reviewed
artikelen, maar niet altijd. Andere voorbeelden van literatuur die je hier kan vinden: theses, PhD, technische
rapporten, conferenties etcerera.
We maken onderscheid tussen roofzuchtige tijdschriften en ijdele pers
1. Roofzuchtige tijdschriften: tijdschriften die geld verdienen door zoveel mogelijk artikelen te publiceren,
vaak beweren dat ze een werkende peer review hebben die niet aanwezig of aanzienlijk gebrekkig is.
2. Vanity press: auteurs betalen om hun werk te laten publiceren; er wordt geen peer-review beloofd
door de uitgever en er wordt geen kwaliteitscontrole uitgevoerd
DOI: digital object identifier
Een digitale identificatie die een tijdschriftartikel uniek identificeert (kan ook worden gekoppeld aan andere
dingen, zoals datasets) met unieke link.
Hoorcollege 2
Er zijn vier soorten validiteiten
1. Interne validiteit
2. Externe validiteit
3. Statistische validiteit
4. Construct validiteit
Fraude?
In bevestigend onderzoek moeten hypotheses van tevoren altijd(!) worden gesteld. In de data ga je niet kijken
naar je data en eventuele hypothesen, je formuleert eerst je hypothese, harking. Alsof je dit van tevoren al
had bedacht, maar je data is al bekend en daarna ga je zoeken naar hypothese. Dit is fraude. Dit is niet handig,
omdat je dan de kans hebt op een grotere type 1 fout. Je toevallige bevinding kan dan worden gezien als
significant, maar dit kan toeval zijn. Dit is dan alsof je van tevoren hier een plan voor had en dat klopt niet. Je
vergroot je type 1 fouten.
P-hacking
Verzamelterm voor dingen die je kan om je statistische toetsen op te krikken. Dit is middels dezelfde manier als
harking.
- Meerdere analyses of toetsen uitvoeren, maar alleen de analyses rapporteren die significante
resultaten opleveren
- Variabelen laten vallen of toevoegen totdat significantie is bereikt.
- Outliers verwijderen om resultaten te veranderen, zodat je p significant is.
- Meer gegevens verzamelen na het checken van significantie (optioneel stoppen)
- Meerdere statistische tests proberen, maar enkel de toetsen rapporteren die significant zijn. Zoals t-
toets, f-toets.
Hoe is p-hacking gerelateerd aan Harking?
Je hebt van tevoren nu geen plan, hetzelfde als bij harking, waarbij je de hypothese aanpast aan de hand van
je resultaten. Het zorgt allebei voor een toename van je type 1 fout.
Publicatiebias
Publicatiebias doet zich voor wanneer studies met statistisch significante of positieve resultaten eerder worden
gepubliceerd dan studies met nul= of negatieve resultaten
Waarom is dit? Geld! Significante resultaten zijn natuurlijk beter dan iets anders, omdat dit erg goed is!
Hoe is dit gerelateerd aan harking en p-hacking?
Het is een toename van type 1-fouten.
Dus je p-hacking, harking en publicatiebias leidt tot de replicatiecrisis. Je komt niet tot juiste conclusies,
vanwege je type 1 fouten. Het getal loopt verder op dan je 5% significantie niveau en dan kun je de resultaten
of studie niet opnieuw doen. Hoe voorkomen we dit?
4
