SAMENVATTING BOS EXPERIMENTEEL
Bij een experiment hebben onderzoekers één variabele gemanipuleerd
Manipulated variable - deelnemers een bepaald level (aantekeningen op
laptop/papier) toewijzen onafhankelijke variable. De levels noemen we variables
Measured variable – gegevens van gedrag zoals observaties dependent variable /
outcome variable
Control variable – de variabele die bij beide groepen hetzelfde blijft (bijvoorbeeld
dezelfde pasta serveren) verhogen interne validiteit
Er moet minimaal één onafhankelijke variabele zijn, maar het kunnen er ook meer
zijn
Als er een causale relatie is kunnen we de onafhankelijke variabele beïnvloeden en kijken
wat dit voor invloed heeft op de afhankelijke variabele
Voorwaarden causaliteit
- Relatie
- X voorafgaand aan Y
- Geen alternatieve verklaringen (alternatieve verklaringen gaan gepaard met
confounds; je weet niet wat de oorzaak is van het veranderen van de variabele)
Causaliteit
Beste manier om te kunnen voldoen aan 3 voorwaarden is middels gerandomiseerd
experiment:
Dit is een onderzoeksopzet waarbij:
- Door randomisatie de groepen worden ingedeeld
- De onderzoekers één variabele manipuleert (varieert)
- De onderzoeker het effect daarvan op een andere variabele meet
Door randomisatie hebben we de grootste kans dat groepen vergelijkbaar zijn
Manipuleren van een variabele – wat houdt dit in?
De onderzoeker bepaald welke groepen er ontstaan en wat het verschil is in behandeling
tussen deze groep. Bijvoorbeeld de ene groep krijgt een training en de ander niet en dan
kijken naar het verschil
Doel van randomisatie verhogen interne validiteit
Randomisatie = steekproef van mensen volledig door toeval groepen vormen, volledig
willekeurig
Het doel van randomistie is dat de gemiddelde scores en spreiding in scores op alle
variabelen, zowel gemeten als ongemeten bij aanvang vergelijkbaar zijn tussen de groepen
Door gebruik te maken van randomisatie hebben we de grootste kans dat in de groepen
- De gemiddelde scores en spreiding in scores op alle variabelen, zowel gemeten als
ongemeten bij aanvang vergelijkbaar zijn
Zo kun je goed kijken of manipulatie wel echt werkt als we een verschil vinden
Type effect dat men probeert te voorkomen met randomisatie is het selectie effect. Er is
sprake van een selectie effect wanneer de deelnemers in de ene experimentele groep
systematisch verschillen van de deelnemers in de andere groep. Als een bepaalde variabele
,(leeftijd, geslacht) oneerlijk verdeeld is over de groepen zou dit mogelijk invloed kunnen
hebben op de uitkomsten van het experiment.
Voorbeeld
Kinderen met rekenproblemen doen mee aan een experiment
De ene groep: specifieke instructiemethode (experimentele groep)
De andere groep: geen instructie (controle groep)
Is er na afloop verschil in de rekenprestaties van kinderen met rekenproblemen?
Onafhankelijke en afhankelijke variabele
- Afhankelijke variabele = gemeten = uitkomst variabele rekenprestaties
- Onafhankelijke variabele = gemanipuleerd de instructie
We willen weten of de afhankelijke variabele ‘afhangt’ van de onafhankelijke variabele?
Maakt het uit in welke groep je zit?
Een onderzoeksvraag van experimenteel onderzoek hebben de volgende elementen
- P: population welke groep we onderzoeken
- I: intervention de onafhankelijke variabele / niveaus van de gemanipuleerde
variabele
- C: comparison groepen die vergeleken worden
- O: outcome gemeten / afhankelijke variabele
Voorbeeld
P – Kinderen met rekenproblemen
I – Rekeninstructie
C – Directe instructie vs. controlegroep
O – Rekenprestaties
Het experiment is uitgevoerd bij 140 kinderen
- Wat zijn de resultaten in de steekproef?
- Wat kunnen we concluderen?
Gebruiken NHST! Dezelfde 5 stappen als bij correlationeel onderzoek
Stap 1 – Toestkeuze, hypothesen en significantie
Om een verschil tussen een experimentele en controlegroep te analyseren gebruiken we de
t-toets voor onafhankelijke groepen
T-toets toets waarmee we de gemiddelde scores van de onafhankelijke groepen kunnen
vergelijken
Hypothesen
Zijn de toetsscores anders of niet? tweezijdige alternatieve hypothese (kan beide kanten
op vallen)
Onderzoekers kunnen ook rekening houden met deze verwachting door een eenzijdige
alternatieve hypothese niet kijken naar de verschillen, maar of specifiek het gemiddelde in
de ene groep hoger of juist lager is dan in de andere (er wordt dus een richting aangegeven)
, Gemiddelde dus Griekse Mu
Di; direct, C; controle
Verwachting was dat de Directe instructie een hoger gemiddelde zou hebben dan de
andere groep
Daarnaast staat hetzelfde (groepen van elkaar afhalen betekent geen verschil, of we
trekken ze van elkaar af en het verschil tussen de twee is groter dan 0)
Je kijkt met de < / > niet naar of het positief of negatief is, maar of het gemiddelden
hoger of lager is.
Stap 2 – assumpties
Assumpties zijn
- Aselecte steekproef alleen dan generaliseren; lees Methods in artikel
- Afhankelijke variabele van interval/ratio meetniveau hoe zijn de
- Twee groepen zijn onafhankelijk zijn de participanten random toegewezen?
- Scores moeten in beide groepen normaal verdeeld zijn
- Scores moeten in beide groepen gelijke spreiding hebben
Scores moeten in beide groepen normaal verdeeld zijn
Een steekproevenverdeling gaat uit van een normale verdeling. We gebruiken de
steekproevenverdeling om de p-waarde te bepalen.
Om te kijken of een score normaal verdeeld is kijken we naar het histogram. Als het niet
normaal verdeeld is, kunnen we de t-toets niet uitvoeren.
Als beide groepen (control en experimental) ≥ 30 personen bevat, wordt het resultaat niet
echt beïnvloedt als de verdeling niet normaal verdeeld is. Je mag de toets dan gewoon
uitvoeren, we noemen dit robuustheid.
Scores moeten in beide groepen gelijke spreiding hebben
We hebben twee verschillen steekproeven, echter gebruiken we maar één
steekproevenverdeling. We voegen deze dus samen, maar daarvoor moet het verschil in de
steekproevenverdeling niet te groot zijn.
Je bekijkt dit door te kijken naar de standaardafwijkingen van de groepen / Levene’s test
je voert een extra hypothesetoets uit
T-toets voor het verschil tussen de groepen
Je kijkt in de output van SPSS naar de p-waarde (Sig) bijhorend bij F
, Je voldoet aan de assumptie als je de nulhypothese niet verwerpt, want dan is de spreiding
in beide groepen gelijk en dat is juist wat je willt
Als de groepen ongeveer even groot zijn en de bijbehorende p-waarde 0.01 (dus H0
verwerpen) is, is er sprake van robuustheid
- Als de Levense’s test niet significant is (dus aan assumpties voldoen) kijken we naar
de p-waarde van Equal variances assumed
- Als de Levense’s test significant is kijken we naar de equal veriances not assumed
DELEN door 2 als we eenzijdig is!
Wat zien we in de steekproef beschrijvende statistieken
Voor hoofdrekenen zien we dat er verschillende resultaten zijn behaald (Mean)
In de Directe Instructie groep is de score hoger
Eenzijdige toets, dus we moeten de richting controleren is dit in overeenstemming
met onze alternatieve hypothese?
Is dit een klein verschil? Komt dit door de variatie in de steekproeven? kijken naar
de steekproevenverdeling
Steekproevenverdeling – verdeling van de mogelijke steekproeven uit de populatie
Steekproevenverdeling van t – verschil is in de x-as; de t-waarde ligt tussen -3 en 3 (of
nog extremer)
Bij een experiment hebben onderzoekers één variabele gemanipuleerd
Manipulated variable - deelnemers een bepaald level (aantekeningen op
laptop/papier) toewijzen onafhankelijke variable. De levels noemen we variables
Measured variable – gegevens van gedrag zoals observaties dependent variable /
outcome variable
Control variable – de variabele die bij beide groepen hetzelfde blijft (bijvoorbeeld
dezelfde pasta serveren) verhogen interne validiteit
Er moet minimaal één onafhankelijke variabele zijn, maar het kunnen er ook meer
zijn
Als er een causale relatie is kunnen we de onafhankelijke variabele beïnvloeden en kijken
wat dit voor invloed heeft op de afhankelijke variabele
Voorwaarden causaliteit
- Relatie
- X voorafgaand aan Y
- Geen alternatieve verklaringen (alternatieve verklaringen gaan gepaard met
confounds; je weet niet wat de oorzaak is van het veranderen van de variabele)
Causaliteit
Beste manier om te kunnen voldoen aan 3 voorwaarden is middels gerandomiseerd
experiment:
Dit is een onderzoeksopzet waarbij:
- Door randomisatie de groepen worden ingedeeld
- De onderzoekers één variabele manipuleert (varieert)
- De onderzoeker het effect daarvan op een andere variabele meet
Door randomisatie hebben we de grootste kans dat groepen vergelijkbaar zijn
Manipuleren van een variabele – wat houdt dit in?
De onderzoeker bepaald welke groepen er ontstaan en wat het verschil is in behandeling
tussen deze groep. Bijvoorbeeld de ene groep krijgt een training en de ander niet en dan
kijken naar het verschil
Doel van randomisatie verhogen interne validiteit
Randomisatie = steekproef van mensen volledig door toeval groepen vormen, volledig
willekeurig
Het doel van randomistie is dat de gemiddelde scores en spreiding in scores op alle
variabelen, zowel gemeten als ongemeten bij aanvang vergelijkbaar zijn tussen de groepen
Door gebruik te maken van randomisatie hebben we de grootste kans dat in de groepen
- De gemiddelde scores en spreiding in scores op alle variabelen, zowel gemeten als
ongemeten bij aanvang vergelijkbaar zijn
Zo kun je goed kijken of manipulatie wel echt werkt als we een verschil vinden
Type effect dat men probeert te voorkomen met randomisatie is het selectie effect. Er is
sprake van een selectie effect wanneer de deelnemers in de ene experimentele groep
systematisch verschillen van de deelnemers in de andere groep. Als een bepaalde variabele
,(leeftijd, geslacht) oneerlijk verdeeld is over de groepen zou dit mogelijk invloed kunnen
hebben op de uitkomsten van het experiment.
Voorbeeld
Kinderen met rekenproblemen doen mee aan een experiment
De ene groep: specifieke instructiemethode (experimentele groep)
De andere groep: geen instructie (controle groep)
Is er na afloop verschil in de rekenprestaties van kinderen met rekenproblemen?
Onafhankelijke en afhankelijke variabele
- Afhankelijke variabele = gemeten = uitkomst variabele rekenprestaties
- Onafhankelijke variabele = gemanipuleerd de instructie
We willen weten of de afhankelijke variabele ‘afhangt’ van de onafhankelijke variabele?
Maakt het uit in welke groep je zit?
Een onderzoeksvraag van experimenteel onderzoek hebben de volgende elementen
- P: population welke groep we onderzoeken
- I: intervention de onafhankelijke variabele / niveaus van de gemanipuleerde
variabele
- C: comparison groepen die vergeleken worden
- O: outcome gemeten / afhankelijke variabele
Voorbeeld
P – Kinderen met rekenproblemen
I – Rekeninstructie
C – Directe instructie vs. controlegroep
O – Rekenprestaties
Het experiment is uitgevoerd bij 140 kinderen
- Wat zijn de resultaten in de steekproef?
- Wat kunnen we concluderen?
Gebruiken NHST! Dezelfde 5 stappen als bij correlationeel onderzoek
Stap 1 – Toestkeuze, hypothesen en significantie
Om een verschil tussen een experimentele en controlegroep te analyseren gebruiken we de
t-toets voor onafhankelijke groepen
T-toets toets waarmee we de gemiddelde scores van de onafhankelijke groepen kunnen
vergelijken
Hypothesen
Zijn de toetsscores anders of niet? tweezijdige alternatieve hypothese (kan beide kanten
op vallen)
Onderzoekers kunnen ook rekening houden met deze verwachting door een eenzijdige
alternatieve hypothese niet kijken naar de verschillen, maar of specifiek het gemiddelde in
de ene groep hoger of juist lager is dan in de andere (er wordt dus een richting aangegeven)
, Gemiddelde dus Griekse Mu
Di; direct, C; controle
Verwachting was dat de Directe instructie een hoger gemiddelde zou hebben dan de
andere groep
Daarnaast staat hetzelfde (groepen van elkaar afhalen betekent geen verschil, of we
trekken ze van elkaar af en het verschil tussen de twee is groter dan 0)
Je kijkt met de < / > niet naar of het positief of negatief is, maar of het gemiddelden
hoger of lager is.
Stap 2 – assumpties
Assumpties zijn
- Aselecte steekproef alleen dan generaliseren; lees Methods in artikel
- Afhankelijke variabele van interval/ratio meetniveau hoe zijn de
- Twee groepen zijn onafhankelijk zijn de participanten random toegewezen?
- Scores moeten in beide groepen normaal verdeeld zijn
- Scores moeten in beide groepen gelijke spreiding hebben
Scores moeten in beide groepen normaal verdeeld zijn
Een steekproevenverdeling gaat uit van een normale verdeling. We gebruiken de
steekproevenverdeling om de p-waarde te bepalen.
Om te kijken of een score normaal verdeeld is kijken we naar het histogram. Als het niet
normaal verdeeld is, kunnen we de t-toets niet uitvoeren.
Als beide groepen (control en experimental) ≥ 30 personen bevat, wordt het resultaat niet
echt beïnvloedt als de verdeling niet normaal verdeeld is. Je mag de toets dan gewoon
uitvoeren, we noemen dit robuustheid.
Scores moeten in beide groepen gelijke spreiding hebben
We hebben twee verschillen steekproeven, echter gebruiken we maar één
steekproevenverdeling. We voegen deze dus samen, maar daarvoor moet het verschil in de
steekproevenverdeling niet te groot zijn.
Je bekijkt dit door te kijken naar de standaardafwijkingen van de groepen / Levene’s test
je voert een extra hypothesetoets uit
T-toets voor het verschil tussen de groepen
Je kijkt in de output van SPSS naar de p-waarde (Sig) bijhorend bij F
, Je voldoet aan de assumptie als je de nulhypothese niet verwerpt, want dan is de spreiding
in beide groepen gelijk en dat is juist wat je willt
Als de groepen ongeveer even groot zijn en de bijbehorende p-waarde 0.01 (dus H0
verwerpen) is, is er sprake van robuustheid
- Als de Levense’s test niet significant is (dus aan assumpties voldoen) kijken we naar
de p-waarde van Equal variances assumed
- Als de Levense’s test significant is kijken we naar de equal veriances not assumed
DELEN door 2 als we eenzijdig is!
Wat zien we in de steekproef beschrijvende statistieken
Voor hoofdrekenen zien we dat er verschillende resultaten zijn behaald (Mean)
In de Directe Instructie groep is de score hoger
Eenzijdige toets, dus we moeten de richting controleren is dit in overeenstemming
met onze alternatieve hypothese?
Is dit een klein verschil? Komt dit door de variatie in de steekproeven? kijken naar
de steekproevenverdeling
Steekproevenverdeling – verdeling van de mogelijke steekproeven uit de populatie
Steekproevenverdeling van t – verschil is in de x-as; de t-waarde ligt tussen -3 en 3 (of
nog extremer)
