Alle aantekeningen KOM deel 2
Experimenteel & Integriteit
HOORCOLLEGE 1
Experimenteel onderzoek
Waarom causale verbanden?
Waarom zijn onderzoekers geïnteresseerd in causale verbanden?
- Begrijpen hoe de werkelijkheid in elkaar zit:
Bijv: Effect motivatie op leerprestaties
- Beïnvloeden van die werkelijkheid:
Bijv.: Effect van anti-rookcampagne op rookgedrag van jongeren en
studenten
Van correlatie --> Causaal verband
Uit correlationeel onderzoekt blijkt:
VB. Relatie tussen FB gebruik en depressieve klachten (blijkt waar uit onderzoek)
- Begrijpen van de sociale werkelijkheid
- Is er wel echt iets te zeggen over een causaal verband
Voorwaarden causaliteit
1. Covariance (oorzaak-gevolg relatie)
2. Temporal precedence (oorzaak moet voorafgaan in tijd)
3. Internal Validity (alternatieve verklaringen uitgesloten)
Experiment
Beste manier om te kunnen voldoen aan de drie voorwaarden is met een gerandomiseerd
experiment:
Onderzoeksopzet waarbij:
Door randomisatie de groepen hetzelfde worden verondersteld
De onderzoeker manipuleert 1 variabelen
De onderzoeker meet het effect daarvan op een andere variabele
Dus er zijn twee exact gelijke gerandomiseerde groepen, 1 klein dingetje is anders. Precies
dat wil de onderzoeker meten.
Voorbeeld: ‘aantekeningen maken op je laptop..’
1. Covariantie
Is er een samenhang tussen type aantekeningen en leerprestatie?
Operationalisatie
, - Type aantekeningen is de onafhankelijke variabele
Gemanipuleerde variabele
- Leerprestatie is de afhankelijke variabele
Gemeten variabele (uitkomst variabele)
Wanneer is er sprake van een samenhang tussen type aantekeningen en leerprestaties?
Er is sprake van samenhang als we verschil in leerprestaties zien tussen de twee
groepen.
2. Temporal precedence
In het experiment kan de onderzoeker ervoor zorgen dat oorzaak voorafgaat aan het
gevolg. Door manipulatie uit te voeren voorafgaand aan de meting van de
afhankelijke variabele.
3. Interne validiteit
Is het wel de gemanipuleerde variabele die het verschil tussen de groepen verklaart of is
er een alternatieve verklaring.
Bedreiging van interne validiteit (confounding)
Design confounds
Was de gemanipuleerde variabele wel het enige verschil in de
behandeling van twee groepen (beide keer stil in de ruimte?)
Selectie effect
Waren de twee groepen wel vergelijkbaar bij de aanvang van het
experiment?
o HOE werden de groepen ingedeeld?
Interne validiteit: design confounds
- Mogelijke alternatieve verklaringen:
o Design confounds (bijv. in onderzoek andere filmpjes gezien)
o Studenten bekeken verschillende video’s, is dat alternatieve verklaring voor
het gevonden verschil?
Was heet willekeurig of systematisch verschil tussen de groepen.
Toewijzing aan groepen
HOE werden de groepen ingedeeld?
- Natuurlijke indeling/ eigen keuze deelnemers
- Op grond van bepaalde persoonskenmerken
- Op basis van willekeur toegewezen
o Willekeurige (random) toewijzing
Uitvoeren van willekeurige toewijzing
Soms is random indelen niet mogelijk: Niet ethisch, Praktisch niet haalbaar
Soms wel mogelijk, maar gaat het mis:
- Deelnemers in experimentele groep vertellen deelnemers in controlegroep over
deelname, dit heet contaminatie
- Deelnemers houden zich niet aan de behandeling
- Beïnvloeding door de onderzoeker (wil onderzoek bewijzen)
,Experimenteel onderzoek
Theorie-data cylcus
Idee/theorie: Idee/theorie leidt onderzoekers tot het stellen van speciale onderzoeksvragen
Bijv. Aantekeningen maken blijkt effectief wanneer studenten deze tijdens studeren
teruglezen etc.
Onderzoeksvraag
Acroniem: PICO
P= Population
I= Intervention
C= Comparison
O= Outcom
I & O zijn samen.
Controlegroep (met deze groep wordt niks gedaan, het is de controlegroep)
Onderzoekontwerp
Onderzoeker kiest bij wie en hoe de data
verzameld wordt
Onderzoeker begin met een steekproef van
participanten
o Bij voorkeur een aselecte steekproef
R – random
Interne validiteit ook belangrijk.
Experimentele setting:
Operationaliseren: hoe ga je het meten.
o Outcome: leerprestaties
Verwachting --> Onderzoekshypothese
Verwachting:
De onderzoeker verwacht een positief effect van tussentijds verbeteren van college-
aantekeningen op leerprestaties van studenten.
Onderzoekshypothese:
Studenten die hun college-aantekeningen tussentijds mogen verbeteren hebben
gemiddeld een hogere toets-score dan studenten die de aantekeningen alleen
mogen overschrijven
, Data-verzameling
Voor de twee groepen vindt de onderzoeker de volgende beschrijvende statistieken.
Data-analyse
- Data visualisatie: boxplot
Je kan nu nog niet zeggen dat iets waar is, je kan alleen zeggen dat in de steekproef dit aan
de hand is. (Uitschieter heeft veel effect, heeft effect op het verschil tussen de twee en ook
op het gemiddelde)
Inferentiële statistiek
Mogen we het steekproefresultaat generaliseren naar de populatie?
Stappen NHST (nulhypothese)
1. Formuleren van hypothesen
2. Keuze & berekenen van toetsingsgrootheid
3. Kans bepalen op resultaat of nog extremer gegeven H0 (h nul klein eronder)
4. Beslissing nemen over H0 (wel of niet verwerpen)
5. (Extra) Conclusie opschrijven
Experimenteel & Integriteit
HOORCOLLEGE 1
Experimenteel onderzoek
Waarom causale verbanden?
Waarom zijn onderzoekers geïnteresseerd in causale verbanden?
- Begrijpen hoe de werkelijkheid in elkaar zit:
Bijv: Effect motivatie op leerprestaties
- Beïnvloeden van die werkelijkheid:
Bijv.: Effect van anti-rookcampagne op rookgedrag van jongeren en
studenten
Van correlatie --> Causaal verband
Uit correlationeel onderzoekt blijkt:
VB. Relatie tussen FB gebruik en depressieve klachten (blijkt waar uit onderzoek)
- Begrijpen van de sociale werkelijkheid
- Is er wel echt iets te zeggen over een causaal verband
Voorwaarden causaliteit
1. Covariance (oorzaak-gevolg relatie)
2. Temporal precedence (oorzaak moet voorafgaan in tijd)
3. Internal Validity (alternatieve verklaringen uitgesloten)
Experiment
Beste manier om te kunnen voldoen aan de drie voorwaarden is met een gerandomiseerd
experiment:
Onderzoeksopzet waarbij:
Door randomisatie de groepen hetzelfde worden verondersteld
De onderzoeker manipuleert 1 variabelen
De onderzoeker meet het effect daarvan op een andere variabele
Dus er zijn twee exact gelijke gerandomiseerde groepen, 1 klein dingetje is anders. Precies
dat wil de onderzoeker meten.
Voorbeeld: ‘aantekeningen maken op je laptop..’
1. Covariantie
Is er een samenhang tussen type aantekeningen en leerprestatie?
Operationalisatie
, - Type aantekeningen is de onafhankelijke variabele
Gemanipuleerde variabele
- Leerprestatie is de afhankelijke variabele
Gemeten variabele (uitkomst variabele)
Wanneer is er sprake van een samenhang tussen type aantekeningen en leerprestaties?
Er is sprake van samenhang als we verschil in leerprestaties zien tussen de twee
groepen.
2. Temporal precedence
In het experiment kan de onderzoeker ervoor zorgen dat oorzaak voorafgaat aan het
gevolg. Door manipulatie uit te voeren voorafgaand aan de meting van de
afhankelijke variabele.
3. Interne validiteit
Is het wel de gemanipuleerde variabele die het verschil tussen de groepen verklaart of is
er een alternatieve verklaring.
Bedreiging van interne validiteit (confounding)
Design confounds
Was de gemanipuleerde variabele wel het enige verschil in de
behandeling van twee groepen (beide keer stil in de ruimte?)
Selectie effect
Waren de twee groepen wel vergelijkbaar bij de aanvang van het
experiment?
o HOE werden de groepen ingedeeld?
Interne validiteit: design confounds
- Mogelijke alternatieve verklaringen:
o Design confounds (bijv. in onderzoek andere filmpjes gezien)
o Studenten bekeken verschillende video’s, is dat alternatieve verklaring voor
het gevonden verschil?
Was heet willekeurig of systematisch verschil tussen de groepen.
Toewijzing aan groepen
HOE werden de groepen ingedeeld?
- Natuurlijke indeling/ eigen keuze deelnemers
- Op grond van bepaalde persoonskenmerken
- Op basis van willekeur toegewezen
o Willekeurige (random) toewijzing
Uitvoeren van willekeurige toewijzing
Soms is random indelen niet mogelijk: Niet ethisch, Praktisch niet haalbaar
Soms wel mogelijk, maar gaat het mis:
- Deelnemers in experimentele groep vertellen deelnemers in controlegroep over
deelname, dit heet contaminatie
- Deelnemers houden zich niet aan de behandeling
- Beïnvloeding door de onderzoeker (wil onderzoek bewijzen)
,Experimenteel onderzoek
Theorie-data cylcus
Idee/theorie: Idee/theorie leidt onderzoekers tot het stellen van speciale onderzoeksvragen
Bijv. Aantekeningen maken blijkt effectief wanneer studenten deze tijdens studeren
teruglezen etc.
Onderzoeksvraag
Acroniem: PICO
P= Population
I= Intervention
C= Comparison
O= Outcom
I & O zijn samen.
Controlegroep (met deze groep wordt niks gedaan, het is de controlegroep)
Onderzoekontwerp
Onderzoeker kiest bij wie en hoe de data
verzameld wordt
Onderzoeker begin met een steekproef van
participanten
o Bij voorkeur een aselecte steekproef
R – random
Interne validiteit ook belangrijk.
Experimentele setting:
Operationaliseren: hoe ga je het meten.
o Outcome: leerprestaties
Verwachting --> Onderzoekshypothese
Verwachting:
De onderzoeker verwacht een positief effect van tussentijds verbeteren van college-
aantekeningen op leerprestaties van studenten.
Onderzoekshypothese:
Studenten die hun college-aantekeningen tussentijds mogen verbeteren hebben
gemiddeld een hogere toets-score dan studenten die de aantekeningen alleen
mogen overschrijven
, Data-verzameling
Voor de twee groepen vindt de onderzoeker de volgende beschrijvende statistieken.
Data-analyse
- Data visualisatie: boxplot
Je kan nu nog niet zeggen dat iets waar is, je kan alleen zeggen dat in de steekproef dit aan
de hand is. (Uitschieter heeft veel effect, heeft effect op het verschil tussen de twee en ook
op het gemiddelde)
Inferentiële statistiek
Mogen we het steekproefresultaat generaliseren naar de populatie?
Stappen NHST (nulhypothese)
1. Formuleren van hypothesen
2. Keuze & berekenen van toetsingsgrootheid
3. Kans bepalen op resultaat of nog extremer gegeven H0 (h nul klein eronder)
4. Beslissing nemen over H0 (wel of niet verwerpen)
5. (Extra) Conclusie opschrijven