Samenvatting BOS
Basis onderzoeksmethoden & statistiek (BOS)
EXPERIMENTEEL
Docent: Marieke den Otter
Hoorcollege 1
Even terug…
- In correlationele deel: samenhang ≠ causaliteit (dus het een is niet per sé het gevolg van het
ander)
- Maar… vaak zijn onderzoekers wel geïnteresseerd in causale verbanden:
Begrijpen hoe de (sociale) werkelijkheid in elkaar zit
Effect van motivatie op leerprestaties
Effect van SES op toegang tot gezondheidszorg
Beϊnvloeden van de werkelijkheid
Effect van inquiry-based learning op studiemotivatie van universitaire studenten
Effectiviteit van interventie voor het verbeteren van gezondheidsvaardigheden bij
bewoners van Overvecht
Voorwaarden causaliteit
Covariance: Er moet een relatie zijn tussen de oorzaak en het gevolg
Temporal precedence: De oorzaak moet in de tijd voorafgaan aan het gevolg
Internal validity: Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Causaliteit
- Beste manier om te kunnen voldoen aan de drie voorwaarden is middels een
gerandomiseerd experiment, onderzoeksopzet waarbij:
door randomisatie de groepen worden ingedeeld
de onderzoeker één variabele manipuleert (varieert)
de onderzoeker het effect daarvan op een andere variabele meet
- Door randomisatie hebben we de grootste kans dat groepen vergelijkbaar zijn
Doel van randomisatie (=willekeurige toewijzing)
- Door gebruik te maken van randomisatie hebben we de grootste kans dat in de groepen:
de gemiddelde scores en spreiding in scores
op alle variabelen, zowel gemeten als ongemeten
bij aanvang vergelijkbaar zijn
Voorbeeld: Kinderen met rekenproblemen doen mee aan een experiment.
- De ene groep krijgt een specifieke instructiemethode: Directe Instructie (experimentele
groep)
- De andere groep krijgt geen specifieke instructie (controlegroep)
Is er effect van een specifieke rekeninstructie in vergelijking met een controlegroep op de
rekenprestaties van kinderen met rekenproblemen?
1
, Samenvatting BOS
- Afhankelijke variabele is de gemeten variabele (uitkomstvariabele) Rekenprestaties
- Onafhankelijke variabele is de gemanipuleerde variabele Instructie (Directe instructie of
controle)
Bij regressie: X en Y variabelen zijn vaak omwisselbaar, maar bij experimenteel kan dit niet.
Experimentele onderzoeksvraag
Een onderzoeksvraag van een experimenteel onderzoek kun je herkennen aan de volgende
elementen: PICO
- Population = de groep mensen die de onderzoeker wil onderzoeken
- Intervention = de variabele die je manipuleert (onafhankelijke variabele)
- Comparison = de niveaus van de gemanipuleerde variabele (= de groepen die vergeleken
worden)
- Outcome = gemeten variabele (afhankelijke variabele)
Stappen in Null Hypothesis Significance Testing
Stap 1: toetskeuze, hypotheses bepalen en significantieniveau kiezen
Stap 2: assumpties controleren
Stap 3: toetsingsgrootheid en p-waarde bepalen
Stap 4: conclusie trekken over H0
Stap 5: inhoudelijke conclusie en effectgrootte bepalen
Stap 1 – Toetskeuze, hypothesen en
Om een verschil tussen een experimentele en controlegroep te analyseren, gebruiken we de t-toets
voor onafhankelijke groepen
- Hypothesen:
- =.05
Stap 3 - Beschrijvende statistieken
In de steekproef hebben de kinderen in de Directe Instructie groep een hoger gemiddelde dan de
kinderen in de Controlegroep
Eénzijdige toets, dus we moeten hier de richting controleren
Significant verschil?
Steekproevenverdeling van t
Steekproevenverdeling is gebaseerd op de nulhypothese
Hoe dichterbij 0, hoe waarschijnlijker dat de nulhypothese klopt
Hoe verder weg van 0, hoe waarschijnlijker dat de alternatieve hypothese klopt
Ook bij t hebben we verschillende steekproevenverdelingen
- Worden niet direct bepaald door n
- Maar worden bepaald door het aantal vrijheidsgraden (=degrees of freedom (df))
2
, Samenvatting BOS
- Bij de t –toets voor onafhankelijke groepen df = n1-1 + n2-1
- Hoe groter n, hoe groter df, hoe minder spreiding in de steekproevenverdeling
Toetsingsgrootheid t
- Bij de t-toets is de toetsingsgrootheid de t-waarde
- Standard error = standaardfout = spreiding in de steekproevenverdeling
- Wanneer we waarden van t vinden dicht bij 0, vinden we H0 het meest waarschijnlijk
- Wanneer we waarden van t vinden ver weg van 0, vinden we H1 het meest waarschijnlijk
- Om te bepalen wat ‘dicht bij 0’ en ‘ver weg van 0’ is, gebruiken we weer de p-waarde en het
significantieniveau
JASP: gratis open-source programma vergelijkbaar met SPSS
Stap 3 – toetsingsgrootheid en p-waarde
H0 hypothese verwerpen (stap 4)
Stap 5 - Inhoudelijke conclusie
Hebben kinderen in de directe instructiegroep een hogere gemiddelde rekenscore dan kinderen in de
controlegroep?
Ja, kinderen in de directe instructiegroep hebben een significant hogere gemiddelde
rekenscore dan kinderen in de controlegroep
Even terug naar H0 verwerpen…
- We hebben nu H0 verworpen, maar betekent dit dat H1 waar is?
- H0 verwerpen betekent dat we de alternatieve hypothese het meest waarschijnlijk vinden
- We hebben vertrouwen in onze NHST toetsprocedure, maar het kan wel dat we een fout
hebben gemaakt
Fouten
- Nulhypothese verwerpen, terwijl we dat niet zouden moeten doen
- Nulhypothese niet verwerpen, terwijl
we dat eigenlijk hadden moeten doen
3
Basis onderzoeksmethoden & statistiek (BOS)
EXPERIMENTEEL
Docent: Marieke den Otter
Hoorcollege 1
Even terug…
- In correlationele deel: samenhang ≠ causaliteit (dus het een is niet per sé het gevolg van het
ander)
- Maar… vaak zijn onderzoekers wel geïnteresseerd in causale verbanden:
Begrijpen hoe de (sociale) werkelijkheid in elkaar zit
Effect van motivatie op leerprestaties
Effect van SES op toegang tot gezondheidszorg
Beϊnvloeden van de werkelijkheid
Effect van inquiry-based learning op studiemotivatie van universitaire studenten
Effectiviteit van interventie voor het verbeteren van gezondheidsvaardigheden bij
bewoners van Overvecht
Voorwaarden causaliteit
Covariance: Er moet een relatie zijn tussen de oorzaak en het gevolg
Temporal precedence: De oorzaak moet in de tijd voorafgaan aan het gevolg
Internal validity: Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Causaliteit
- Beste manier om te kunnen voldoen aan de drie voorwaarden is middels een
gerandomiseerd experiment, onderzoeksopzet waarbij:
door randomisatie de groepen worden ingedeeld
de onderzoeker één variabele manipuleert (varieert)
de onderzoeker het effect daarvan op een andere variabele meet
- Door randomisatie hebben we de grootste kans dat groepen vergelijkbaar zijn
Doel van randomisatie (=willekeurige toewijzing)
- Door gebruik te maken van randomisatie hebben we de grootste kans dat in de groepen:
de gemiddelde scores en spreiding in scores
op alle variabelen, zowel gemeten als ongemeten
bij aanvang vergelijkbaar zijn
Voorbeeld: Kinderen met rekenproblemen doen mee aan een experiment.
- De ene groep krijgt een specifieke instructiemethode: Directe Instructie (experimentele
groep)
- De andere groep krijgt geen specifieke instructie (controlegroep)
Is er effect van een specifieke rekeninstructie in vergelijking met een controlegroep op de
rekenprestaties van kinderen met rekenproblemen?
1
, Samenvatting BOS
- Afhankelijke variabele is de gemeten variabele (uitkomstvariabele) Rekenprestaties
- Onafhankelijke variabele is de gemanipuleerde variabele Instructie (Directe instructie of
controle)
Bij regressie: X en Y variabelen zijn vaak omwisselbaar, maar bij experimenteel kan dit niet.
Experimentele onderzoeksvraag
Een onderzoeksvraag van een experimenteel onderzoek kun je herkennen aan de volgende
elementen: PICO
- Population = de groep mensen die de onderzoeker wil onderzoeken
- Intervention = de variabele die je manipuleert (onafhankelijke variabele)
- Comparison = de niveaus van de gemanipuleerde variabele (= de groepen die vergeleken
worden)
- Outcome = gemeten variabele (afhankelijke variabele)
Stappen in Null Hypothesis Significance Testing
Stap 1: toetskeuze, hypotheses bepalen en significantieniveau kiezen
Stap 2: assumpties controleren
Stap 3: toetsingsgrootheid en p-waarde bepalen
Stap 4: conclusie trekken over H0
Stap 5: inhoudelijke conclusie en effectgrootte bepalen
Stap 1 – Toetskeuze, hypothesen en
Om een verschil tussen een experimentele en controlegroep te analyseren, gebruiken we de t-toets
voor onafhankelijke groepen
- Hypothesen:
- =.05
Stap 3 - Beschrijvende statistieken
In de steekproef hebben de kinderen in de Directe Instructie groep een hoger gemiddelde dan de
kinderen in de Controlegroep
Eénzijdige toets, dus we moeten hier de richting controleren
Significant verschil?
Steekproevenverdeling van t
Steekproevenverdeling is gebaseerd op de nulhypothese
Hoe dichterbij 0, hoe waarschijnlijker dat de nulhypothese klopt
Hoe verder weg van 0, hoe waarschijnlijker dat de alternatieve hypothese klopt
Ook bij t hebben we verschillende steekproevenverdelingen
- Worden niet direct bepaald door n
- Maar worden bepaald door het aantal vrijheidsgraden (=degrees of freedom (df))
2
, Samenvatting BOS
- Bij de t –toets voor onafhankelijke groepen df = n1-1 + n2-1
- Hoe groter n, hoe groter df, hoe minder spreiding in de steekproevenverdeling
Toetsingsgrootheid t
- Bij de t-toets is de toetsingsgrootheid de t-waarde
- Standard error = standaardfout = spreiding in de steekproevenverdeling
- Wanneer we waarden van t vinden dicht bij 0, vinden we H0 het meest waarschijnlijk
- Wanneer we waarden van t vinden ver weg van 0, vinden we H1 het meest waarschijnlijk
- Om te bepalen wat ‘dicht bij 0’ en ‘ver weg van 0’ is, gebruiken we weer de p-waarde en het
significantieniveau
JASP: gratis open-source programma vergelijkbaar met SPSS
Stap 3 – toetsingsgrootheid en p-waarde
H0 hypothese verwerpen (stap 4)
Stap 5 - Inhoudelijke conclusie
Hebben kinderen in de directe instructiegroep een hogere gemiddelde rekenscore dan kinderen in de
controlegroep?
Ja, kinderen in de directe instructiegroep hebben een significant hogere gemiddelde
rekenscore dan kinderen in de controlegroep
Even terug naar H0 verwerpen…
- We hebben nu H0 verworpen, maar betekent dit dat H1 waar is?
- H0 verwerpen betekent dat we de alternatieve hypothese het meest waarschijnlijk vinden
- We hebben vertrouwen in onze NHST toetsprocedure, maar het kan wel dat we een fout
hebben gemaakt
Fouten
- Nulhypothese verwerpen, terwijl we dat niet zouden moeten doen
- Nulhypothese niet verwerpen, terwijl
we dat eigenlijk hadden moeten doen
3
