Methodologie 2
Hoorcollege 1.1
Wat is het verschil tussen een theorie en een model? Als je termen gebruikt die abstracter zijn noem
je het een theorie. Als je goed geoperationaliseerde variabelen hebt, dan noem je het eerder een
model, deze is specifieker.
Voorbeelden van variabelen:
- hoe goed je het doet op school > vragenlijst (zelf vragen), kijken naar cijfers, vragen aan leraren
(dit zijn allemaal operationalisaties).
- Proposities: dat wat je probeert te verklaren, wat is de relatie tussen de verklarende variabelen.
Voorbeeld van model:
o Kwaliteit van leraren
o Motivatie Schoolprestaties
o Intelligentie niveau
- Belangrijkste van een model is dat ze zo min mogelijk gecorreleerd zijn, onafhankelijk. Anders
hebben ze een andere relatie. De kwaliteit van de leraar, zou dus geen effect moeten hebben op
de motivatie van een student.
Verschil tussen theorie en hypothesen?
Theorieën zijn vaak conceptueel, wat algemener verklarend kader.
Hypothese zijn bijna altijd geoperationaliseerd, anders weet je niet waar je je voorspelling over doet.
Soorten relaties tussen variabelen
- Mediterende relatie: de invloed van A naar B, wordt veroorzaakt door iets wat er tussen zit. Een
mediator kan een potentieel mechanisme zijn waarmee een onafhankelijke variabele
veranderingen kan teweegbrengen op een afhankelijke variabele. Wanneer je volledig rekening
houdt met het effect van de mediator, kan de relatie tussen onafhankelijke en afhankelijke
variabelen wegvallen.
o Voorbeeld: Kwaliteit leraar > motivatie > schoolprestaties. Motivatie is de mediator.
- Modelerende relatie: de variabele Z heeft invloed op de relatie van X en Y.
o Voorbeeld: intelligentie > schoolprestaties
Motivatie
Motivatie is de moderator, het effect is aanwezig als de moderator aanwezig is. Zo’n relatie
toets je met een interactie effect.
,Criteria voor goede theorie:
- Logisch consistent, spreken elkaar niet tegen
- Falsifieerbaar
- Overeenkomt met je verzamelde data
- Duidelijk en specifiek
- Parsimonious (spaarzaam, zo makkelijk mogelijk)
- Consistent met andere theorieën
- Bruikbaar in de praktijk
Selecteren van artikelen, dingen waar je op moet letten
- Onderwerp (past het waar ik me mee bezig wil houden?
- Wat is de kwaliteit van dit artikel, hoe goed is het, heeft het invloed gehad op wetenschap?
- Een aantal kernartikelen selecteren die invloed op de wetenschap hebben gehad
o Empirisch artikel/onderzoeksartikel: Empirische kennis is kennis die voorkomt uit
wetenschappelijke ervaringen (onderzoek). In werkgroep moeten we er 4 van
selecteren. In de samenvatting van een empirisch artikel staat altijd:
onderzoeksvraag, methode, resultaten en conclusie.
o Review artikel: Een review (overzichtsartikel) geeft een samenvatting van de stand
van zaken op een bepaald vakgebied. Review-artikelen zijn geschreven door experts
op basis van uitgebreid literatuuronderzoek.
Voorbeeld opinie artikelen, waarin wetenschappers iets tegenspreken, kritisch zijn.
In deze tekst staat niet duidelijk een methode etc. beschreven. Deze artikelen zijn
meer beschrijvend (samenvatting).
o Commentaar: brief gaat over een artikel, wetenschappers wil er iets over
zeggen/opmerking maken. Bijvoorbeeld tegenspreken. Auteur reageert hier vaak op.
o Peer reviewd: door andere wetenschappers is bekeken (gelijke) en beoordeeld.
Hoe weet je of een artikel kwaliteit en impact heeft
- Het aantal citaties (citeren) door wetenschappers (meer dan 100 citaten is goed).
- Het publiceren in grote bekende bladen/tijdschriften
- Kwaliteit impact
Hoe ga je zoeken
- Wetenschappelijke bronnen waarvan artikelen in wetenschappelijke artikelen staan en bekeken
door andere wetenschappers (peer-review).
- Gebruik een wetenschappelijke zoekmachine (google scholar, VU bibliotheek).
DOI: digital object identifier
Alle wetenschappelijke literatuur en datasets, krijgen een DOI. Een uniek nummer wat je in staat stelt
om literatuur weer terug te vinden, gepubliceerd op internet.
Toegankelijkheid
Alle literatuur proberen we open te publiceren, niet achter een betaalmuur (zonder abonnement).
,Hoorcollege 1.2
Vraag pingoo:
1. Susan denkt dat studenten betere resultaten behalen als zij goede docenten hebben, maar dit
veroorzaakt wordt doordat een goede docent beter in staat is om studenten te motiveren. Ook
denkt zij dat dit vooral een rol speelt bij cursussen in de bachelor fase, omdat studenten in de
master fase al instrinsiek gemotiveerd zijn. In Susan’s theorie is de kwaliteit van de docent een
onafhankelijke variabele, motivatie een mediterende variabele en studiefase (bacheklor/master)
een modelerende variabele.
2. Johnny voert een experiment uit naar de relatie tussen de hoeveelheid tijd die studenten
studeren en examencijfers. Hij vraagt ook aan studenten om een vragenlijst over hun stemming
in te vullen na ieder examen. Nadat hij de data heeft verzameld en geanalyseerd, concludeert hij
dat studenten met een slecht humeur slechter presteerden op hun tentamen. In zijn
onderzoeksrapport schrijft hij: ‘’Wij veronderstelden dat studenten met een slecht humeur het
ook slechter zouden doen op het tentamen omdat een slecht humeur een negatieve invloed
uitoefent op het vermogen om tentamens te maken. Onze analyses bevestigen dat dit klopt:
‘’Wat gaat hier mis?’’.
De interne validiteit is niet goed, een alternatieve verklaring is dat studenten zich realiseren
dat ze het tentamen niet goed gemaakt hebben en vervolgens slecht gehumeurd zijn.
3. Kan een nominale variabele kwantitatief zijn (ja/Nee), en kan een nominale variabele in een
ANOVA gebruikt worden (ja/nee)?
Nee, Ja.
Interne validiteit: Interne validiteit is de mate waarin je met zekerheid kunt stellen dat een
vastgestelde oorzaak-gevolgrelatie niet door andere factoren kan worden verklaard. Als de interne
validiteit hoog is, is het aannemelijk dat de gevonden causale relatie tussen je onafhankelijke
variabele en afhankelijke variabele daadwerkelijk aanwezig is.
Externe validiteit: Externe validiteit is de mate waarin de onderzoeksresultaten generaliseerbaar zijn
naar andere situaties dan die in het onderzoek.
Construct validiteit: Hierbij bepaalt men of de test een construct meet, die daadwerkelijk een goede
indicatie is voor het begrip waar je geïnteresseerd in bent. Soms zijn er variabelen die invloed hebben
op het begrip dat de test meet en die niet betrokken zijn bij het maken van de test.
Discriminatie validiteit: Hierbij wordt gekeken of de resultaten van de test beïnvloed worden door
een andere variabel. Ook hier vergelijkt men de oorspronkelijke test met een andere test die een
ander begrip meet.
Statistische validiteit: Onderbouwen de resultaten/statistieken de bewerking/hypothese.
De hypothese moet altijd vooraf gaan aan je onderzoek, voordat je iets gaat doen. Anders ga je
harken, achteraf zoeken in je onderzoek. Harken: je doet toevallig wat dingen, daar komt wat uit en
dan zeg je ‘’he dat wilde ik toevallig onderzoeken’’.
Dit alles heeft geleidt tot de replicatiecrisis. Dit heeft een invloed op vals-positieve (type 1 fout),
waarbij onderzoekers significante effecten gaan rapporteren (zijn ze ook van overtuigd), maar daar
zitten dus veel vals-positieve bij waardoor onderzoek niet meer repliceerbaar zijn gebleken. Dit is de
replicatiecrisis gaan heten.
Pre-registratie: op een ethische manier met je onderzoek omgaan, door van te voren je hypothese te
registratie. Dit verkleint QRP’s:
, - HARK-ing (hypothesen)
- P-hacking (analyse)
- Publicatie fout (negatieve niet publiceren, vals-positieve wel).
Harking
Exploratief VS Conformatief
Hypothese generaliseren Hypothese testen
Resultaten moeten worden gerepliceerd Resultaten voldoen aan hoge standaard
Minimaal vals-negatief Minimaal vals-negatief
P-waarde verliest diagnostische waarde P-waarde behoudt diagnostische waarde
Niet bruikbaar voor het maken van uitspraken Wel bruikbaar voor uitspraken over de
over de populatie de populatie
Beschrijvende statistiek: aangeven hoe vaak dingen voorkomen, zoveel mannen en zoveel vrouwen,
die en die mening. Dit gaat over de populatie/ parameter. Bijvoorbeeld opiniepeilingen of census.
Test een hypothese:
- Kan gemeten variabelen van constructen bevatten: we noemen deze verklarende variabele(n) en
responsvariabelen
- Maar kunnen ook een manipulatie bevatten: we noemen de variabelen onafhankelijke en
afhankelijke variabele(n)
- Vaak (maar niet altijd) resulteert in causale claims (maar voorzichtigheid is geboden!)
Voorbeeld:
- Of respondenten roken (zelfrapportage)
- Of respondenten gevoelig zijn voor stress (persoonlijkheidskenmerk, zelfrapportage)
- Hoe goed respondenten slapen (zelfrapportage)
Als ik veronderstel dat roken en stress,
beide hebben een negatieve invloed op
het slaapgedrag ->
Hoorcollege 1.1
Wat is het verschil tussen een theorie en een model? Als je termen gebruikt die abstracter zijn noem
je het een theorie. Als je goed geoperationaliseerde variabelen hebt, dan noem je het eerder een
model, deze is specifieker.
Voorbeelden van variabelen:
- hoe goed je het doet op school > vragenlijst (zelf vragen), kijken naar cijfers, vragen aan leraren
(dit zijn allemaal operationalisaties).
- Proposities: dat wat je probeert te verklaren, wat is de relatie tussen de verklarende variabelen.
Voorbeeld van model:
o Kwaliteit van leraren
o Motivatie Schoolprestaties
o Intelligentie niveau
- Belangrijkste van een model is dat ze zo min mogelijk gecorreleerd zijn, onafhankelijk. Anders
hebben ze een andere relatie. De kwaliteit van de leraar, zou dus geen effect moeten hebben op
de motivatie van een student.
Verschil tussen theorie en hypothesen?
Theorieën zijn vaak conceptueel, wat algemener verklarend kader.
Hypothese zijn bijna altijd geoperationaliseerd, anders weet je niet waar je je voorspelling over doet.
Soorten relaties tussen variabelen
- Mediterende relatie: de invloed van A naar B, wordt veroorzaakt door iets wat er tussen zit. Een
mediator kan een potentieel mechanisme zijn waarmee een onafhankelijke variabele
veranderingen kan teweegbrengen op een afhankelijke variabele. Wanneer je volledig rekening
houdt met het effect van de mediator, kan de relatie tussen onafhankelijke en afhankelijke
variabelen wegvallen.
o Voorbeeld: Kwaliteit leraar > motivatie > schoolprestaties. Motivatie is de mediator.
- Modelerende relatie: de variabele Z heeft invloed op de relatie van X en Y.
o Voorbeeld: intelligentie > schoolprestaties
Motivatie
Motivatie is de moderator, het effect is aanwezig als de moderator aanwezig is. Zo’n relatie
toets je met een interactie effect.
,Criteria voor goede theorie:
- Logisch consistent, spreken elkaar niet tegen
- Falsifieerbaar
- Overeenkomt met je verzamelde data
- Duidelijk en specifiek
- Parsimonious (spaarzaam, zo makkelijk mogelijk)
- Consistent met andere theorieën
- Bruikbaar in de praktijk
Selecteren van artikelen, dingen waar je op moet letten
- Onderwerp (past het waar ik me mee bezig wil houden?
- Wat is de kwaliteit van dit artikel, hoe goed is het, heeft het invloed gehad op wetenschap?
- Een aantal kernartikelen selecteren die invloed op de wetenschap hebben gehad
o Empirisch artikel/onderzoeksartikel: Empirische kennis is kennis die voorkomt uit
wetenschappelijke ervaringen (onderzoek). In werkgroep moeten we er 4 van
selecteren. In de samenvatting van een empirisch artikel staat altijd:
onderzoeksvraag, methode, resultaten en conclusie.
o Review artikel: Een review (overzichtsartikel) geeft een samenvatting van de stand
van zaken op een bepaald vakgebied. Review-artikelen zijn geschreven door experts
op basis van uitgebreid literatuuronderzoek.
Voorbeeld opinie artikelen, waarin wetenschappers iets tegenspreken, kritisch zijn.
In deze tekst staat niet duidelijk een methode etc. beschreven. Deze artikelen zijn
meer beschrijvend (samenvatting).
o Commentaar: brief gaat over een artikel, wetenschappers wil er iets over
zeggen/opmerking maken. Bijvoorbeeld tegenspreken. Auteur reageert hier vaak op.
o Peer reviewd: door andere wetenschappers is bekeken (gelijke) en beoordeeld.
Hoe weet je of een artikel kwaliteit en impact heeft
- Het aantal citaties (citeren) door wetenschappers (meer dan 100 citaten is goed).
- Het publiceren in grote bekende bladen/tijdschriften
- Kwaliteit impact
Hoe ga je zoeken
- Wetenschappelijke bronnen waarvan artikelen in wetenschappelijke artikelen staan en bekeken
door andere wetenschappers (peer-review).
- Gebruik een wetenschappelijke zoekmachine (google scholar, VU bibliotheek).
DOI: digital object identifier
Alle wetenschappelijke literatuur en datasets, krijgen een DOI. Een uniek nummer wat je in staat stelt
om literatuur weer terug te vinden, gepubliceerd op internet.
Toegankelijkheid
Alle literatuur proberen we open te publiceren, niet achter een betaalmuur (zonder abonnement).
,Hoorcollege 1.2
Vraag pingoo:
1. Susan denkt dat studenten betere resultaten behalen als zij goede docenten hebben, maar dit
veroorzaakt wordt doordat een goede docent beter in staat is om studenten te motiveren. Ook
denkt zij dat dit vooral een rol speelt bij cursussen in de bachelor fase, omdat studenten in de
master fase al instrinsiek gemotiveerd zijn. In Susan’s theorie is de kwaliteit van de docent een
onafhankelijke variabele, motivatie een mediterende variabele en studiefase (bacheklor/master)
een modelerende variabele.
2. Johnny voert een experiment uit naar de relatie tussen de hoeveelheid tijd die studenten
studeren en examencijfers. Hij vraagt ook aan studenten om een vragenlijst over hun stemming
in te vullen na ieder examen. Nadat hij de data heeft verzameld en geanalyseerd, concludeert hij
dat studenten met een slecht humeur slechter presteerden op hun tentamen. In zijn
onderzoeksrapport schrijft hij: ‘’Wij veronderstelden dat studenten met een slecht humeur het
ook slechter zouden doen op het tentamen omdat een slecht humeur een negatieve invloed
uitoefent op het vermogen om tentamens te maken. Onze analyses bevestigen dat dit klopt:
‘’Wat gaat hier mis?’’.
De interne validiteit is niet goed, een alternatieve verklaring is dat studenten zich realiseren
dat ze het tentamen niet goed gemaakt hebben en vervolgens slecht gehumeurd zijn.
3. Kan een nominale variabele kwantitatief zijn (ja/Nee), en kan een nominale variabele in een
ANOVA gebruikt worden (ja/nee)?
Nee, Ja.
Interne validiteit: Interne validiteit is de mate waarin je met zekerheid kunt stellen dat een
vastgestelde oorzaak-gevolgrelatie niet door andere factoren kan worden verklaard. Als de interne
validiteit hoog is, is het aannemelijk dat de gevonden causale relatie tussen je onafhankelijke
variabele en afhankelijke variabele daadwerkelijk aanwezig is.
Externe validiteit: Externe validiteit is de mate waarin de onderzoeksresultaten generaliseerbaar zijn
naar andere situaties dan die in het onderzoek.
Construct validiteit: Hierbij bepaalt men of de test een construct meet, die daadwerkelijk een goede
indicatie is voor het begrip waar je geïnteresseerd in bent. Soms zijn er variabelen die invloed hebben
op het begrip dat de test meet en die niet betrokken zijn bij het maken van de test.
Discriminatie validiteit: Hierbij wordt gekeken of de resultaten van de test beïnvloed worden door
een andere variabel. Ook hier vergelijkt men de oorspronkelijke test met een andere test die een
ander begrip meet.
Statistische validiteit: Onderbouwen de resultaten/statistieken de bewerking/hypothese.
De hypothese moet altijd vooraf gaan aan je onderzoek, voordat je iets gaat doen. Anders ga je
harken, achteraf zoeken in je onderzoek. Harken: je doet toevallig wat dingen, daar komt wat uit en
dan zeg je ‘’he dat wilde ik toevallig onderzoeken’’.
Dit alles heeft geleidt tot de replicatiecrisis. Dit heeft een invloed op vals-positieve (type 1 fout),
waarbij onderzoekers significante effecten gaan rapporteren (zijn ze ook van overtuigd), maar daar
zitten dus veel vals-positieve bij waardoor onderzoek niet meer repliceerbaar zijn gebleken. Dit is de
replicatiecrisis gaan heten.
Pre-registratie: op een ethische manier met je onderzoek omgaan, door van te voren je hypothese te
registratie. Dit verkleint QRP’s:
, - HARK-ing (hypothesen)
- P-hacking (analyse)
- Publicatie fout (negatieve niet publiceren, vals-positieve wel).
Harking
Exploratief VS Conformatief
Hypothese generaliseren Hypothese testen
Resultaten moeten worden gerepliceerd Resultaten voldoen aan hoge standaard
Minimaal vals-negatief Minimaal vals-negatief
P-waarde verliest diagnostische waarde P-waarde behoudt diagnostische waarde
Niet bruikbaar voor het maken van uitspraken Wel bruikbaar voor uitspraken over de
over de populatie de populatie
Beschrijvende statistiek: aangeven hoe vaak dingen voorkomen, zoveel mannen en zoveel vrouwen,
die en die mening. Dit gaat over de populatie/ parameter. Bijvoorbeeld opiniepeilingen of census.
Test een hypothese:
- Kan gemeten variabelen van constructen bevatten: we noemen deze verklarende variabele(n) en
responsvariabelen
- Maar kunnen ook een manipulatie bevatten: we noemen de variabelen onafhankelijke en
afhankelijke variabele(n)
- Vaak (maar niet altijd) resulteert in causale claims (maar voorzichtigheid is geboden!)
Voorbeeld:
- Of respondenten roken (zelfrapportage)
- Of respondenten gevoelig zijn voor stress (persoonlijkheidskenmerk, zelfrapportage)
- Hoe goed respondenten slapen (zelfrapportage)
Als ik veronderstel dat roken en stress,
beide hebben een negatieve invloed op
het slaapgedrag ->
