Colleges KOM Experimenteel en Integriteit

Hoorcollege E1
Waarom zijn onderzoekers geïnteresseerd in causale verbanden?
 Begrijpen hoe de (sociale) werkelijkheid in elkaar zit
 Het beïnvloeden van die werkelijkheid
De voorwaarden voor causaliteit zijn:
 Covariance
 Temporal precedence
 Internal validity
De beste manier om te voldoen aan al deze voorwaarden is het gerandomiseerd
experiment. Dat is een onderzoeksopzet waarbij:
 Door randomisatie de groepen hetzelfde worden verondersteld
 De onderzoeker één variabele manipuleert
 De onderzoeker het effect daarvan op een andere variabele meet
Hoe weet men dat het de gemanipuleerde variabele is die de correlatie verklaart en niet een
alternatieve verklaring?
Bedreigingen van interne validiteit: (confounding)
 Design confounds: was de gemanipuleerde variabele wel het enige verschil in de
behandeling van de twee groepen?
 Selectie effect: waren de twee groepen wel vergelijkbaar bij aanvang van het
experiment? Hierbij is het belangrijk of de verschillen willekeurig of systematisch zijn.
De toewijzing van de twee groepen moet gebeuren door random (willekeurige) toewijzing.
Het doel van willekeurige toewijzing (randomisatie) is om ervoor te zorgen dat de gemiddelde
scores én spreiding in scores op alle variabelen, zowel gemeten als ongemeten, bij aanvang
vergelijkbaar zijn tussen de twee groepen.
Het uitvoeren van willekeurige toewijzing:
Dit is een probleem (met name) bij kleine steekproeven, de groepen zijn namelijk niet altijd
even groot en de relevante kenmerken van deelnemers zijn niet gelijkmatig verdeeld over de
condities. De oplossing hiervoor zijn complexere randomisatie methoden.
Soms is randomisatie van deelnemers niet mogelijk; het is onethisch of praktisch niet
haalbaar.
Soms is het wel mogelijk, maar gaat het mis, contaminatie;
 Deelnemers in de experimentele groep vertellen deelnemers in de controlegroep over
hun deelname
 Deelnemers houden zich niet aan de behandeling
 Beïnvloeding door de onderzoeker

Een onderzoeksvraag van een experimenteel onderzoek kun je herkennen aan de volgende
elementen:
PICO:
 Population (de groep mensen die de onderzoeker wil onderzoeken)
 Intervention (niveaus van de gemanipuleerde/onafhankelijke variabele)
 Comparison (groepen die vergeleken worden)
 Outcome (gemeten/afhankelijke variabele)
Het onderzoeksontwerp van een experimenteel onderzoek:
Gerandomiseerd experiment: willekeurige toewijzing van deelnemers aan één van de
condities.
Men begint met een aselecte steekproef (externe validiteit). Daarna met randomiseren. De
deelnemers worden dan willekeurig toegewezen aan de experimentele of de controle groep.
Dataverzameling bij een experimenteel onderzoek
Men begint met datavisualisatie, bijvoorbeeld een boxplot of spreidingsdiagram etc.

PAC: (correlationeel onderzoek)
 Population
 Association
 Constructs

, Inferentiële statistiek, de stappen van null hypothesis significance testing:
1. Formuleren van hypothesen. Naast de onderzoekshypothese stelt de onderzoeker de
nulhypothese op, waarbij er geen effect, relatie of verschil is.
Het formuleren van statistische hypothesen:
In de statistiek worden hypothesen vaak met symbolen opgeschreven. Voor populaties en
steekproeven gebruiken onderzoekers verschillende symbolen. Voor het gemiddelde, het
populatiegemiddelde gebruikt men de griekse letter mu; μ
Met behulp van symbolen worden hypothesen omgezet in statistische hypothesen.




H0 = de nulhypothese. HA = onderzoekshypothese, A staat voor alternatief.
2. Keuze en berekenen toetsgrootheid. Op basis van de hypothesen (onderzoeksvraag
en operationalisatie) kiest de onderzoeker de juiste toetsprocedure.
Als de gemiddelde scores van twee onafhankelijke groepen worden vergeleken: T-toets
voor onafhankelijke groepen.
Met de t-toets bepalen we het relatieve verschil tussen de twee groepen op grond van:
 Het verschil in gemiddelden tussen de twee groepen; M1 - M2
 De spreiding in scores van de groepen; SD1 en SD2
 De grootte van de groepen; N1 en N2

Net als dat de correlatie van steekproef tot steekproef varieert, zullen de waarden van M1 -
M2 ook van steekproef tot steekproef variëren.
Ook bij het verschil van M1 - M2 wordt er een standaardfout berekend. Dit gebeurt aan de
hand van de grootte van de groepen (N1 en N2) en de spreiding van de groepen (SD1 en
SD2). SE = Standard Error (standaardfout)
Wanneer we het verschil M1 - M2 delen door de standaardfout krijgen we een
gestandaardiseerde score: T=M1-M2SE.
Dit is de toetsingsgrootheid T. De waarden van T liggen allemaal op dezelfde schaal, de
verschillen zijn gestandaardiseerd naar de standaard schaal. (T-schaal)
Hoe werkt de toetsingsgrootheid T?
Wanneer er meerdere steekproeven worden getrokken uit een populatie waar H0 waar is (er
is geen verschil in gemiddelden in de populatie):
 Zal het verschil in gemiddelden tussen de twee groepen vaak dichtbij 0 zijn
 Zal de waarde van T dus ook vaak dichtbij 0 zijn
 Zullen de T-waarden die ver weg liggen van 0 minder vaak voorkomen
De T verdeling is net als de correlatie een normaalverdeling, maar wijkt net iets af.
3. Kans bepalen resultaat gegeven H0. Met behulp van de T-verdeling kunnen de
onderzoekers weer de p-waarde bepalen.
P-waarde is de overschrijdingskans. Deze wordt door de computer berekend onder aanname
dat er geen verschil is, dat H0 dus waar is. Het meet de kans op de geobserveerde waarde
óf een waarde nog verder van 0. Het meet de mate van overeenkomst met de nulsituatie.
4. Beslissing nemen over H0.
Als de nulhypothese (er is geen verschil) waar zou zijn, dan is de kans op het gevonden
resultaat óf nog extremer, gelijk aan de p-waarde. In maar het aantal procent van de p-
waarde van de gevallen komt er een resultaat zó extreem (of nog extremer) uit, als H0 waar
zou zijn.
Is er nu veel of juist weinig overeenkomst met de nulhypothese? (p klein is weinig
overeenkomst, grote p is veel overeenkomst)
Is er nu support voor het idee dat er een verschil is tussen de twee condities in de
populatie?