Hoorcollege Samenvatting – Applied Research Methods D&H
College 1
Goede onderzoeken hebben grotere precisie, parsimony (zo min mogelijk aannames),
testbaarheid en falsifieerbaarheid.
- Wees bewust van vloer- en plafondeffecten (bv. veel lage scores bij te moeilijke test).
- Controlevariabelen houd je constant.
o Je kunt ze omzetten tot OV’s (bv. gender als OV in quasi-experiment).
Types validiteit:
- Interne validiteit: komen resultaten wel door interventie?
- Externe validiteit: resultaten te generaliseren?
- Constructvaliditeit: welk aspect van interventie veroorzaakt resultaten?
- Statistische validiteit: statistische conclusies correct?
Correlatie: richting en grootte van relatie tussen twee variabelen.
- Correlatie is een voorwaarde voor causaliteit, maar met correlatie alleen kun je hier
niks over zeggen (asymmetrisch).
o Temporale volgorde voorspelt causaliteit ook niet.
- Regressie: ene variabele voorspellen als je de andere weet.
Type I fout (α-fout): significant effect, maar in werkelijkheid geen effect (vals positief).
Type II fout (ß-fout): non-significant effect, maar in werkelijkheid wel effect (vals negatief).
- Significantiecriterium (α): maximaal risico op verkeerde H0-verwerping.
- Effectgrootte: grootte van verschil/correlatie/relatie.
o T-toets = Cohens d. ANOVA = f (d/2) of partial eta2. Correlatie = Pearson’s r.
o Cohens d = (M1 – M2)/SD.
▪ d = .20 is klein, d = .50 is medium en d = .80 is groot.
o Verwachte effectgrootte is meestal medium (nooit groot).
- Power (1-ß): waarschijnlijkheid van significant effect vinden (H0 juist verwerpen).
o Groter bij grotere effectgrootte (meeste invloed).
▪ Vergroot systematische variantie, verminder errorvariantie, overweeg
within-subjects design.
o Groter bij grotere α.
o Groter bij grotere N (minste invloed).
Publicatie van kleine onderzoeken met grote effecten kan door meer random fluctuatie van
effecten in kleine samples (over/onderschattingen) of door publicatiebias. Vertrouw
onderzoeken met kleine samples niet!
, College 2
Longitudinale RCT’s zijn het sterkste (wel beperkte externe validiteit bij experimenten).
Succesvolle randomisatie (bij grote sample) vermindert selectie- en toewijzing-biases.
Blinding vermindert prestatiebias.
Efficacy: resultaat verkregen over beoogde (ideale) behandelomstandigheden.
- Exclusie van bepaalde patiënten kan leiden tot ascertainment bias.
o Bij intention-to-treat (ITT) analyses wordt de originele randomisatie
behouden, wat biases vermindert (bevat alle deelnemers die begonnen zijn).
- CONSORT: statement om RCT-verslagen te verbeteren (bevat checklist en flow
diagram).
Observationeel onderzoek:
- Beschrijvend onderzoek (zonder vergelijkingsgroep) → Gebruikt beschrijvende
statistiek (beschrijft alleen sample).
- Analytisch onderzoek (met vergelijkingsgroep) → Gebruikt inferentiële statistiek
(generaliseert naar populatie).
o Concurrent design (cross-sectional); alle metingen in één assessment.
o Longitudinaal design:
▪ Cohort studie: cases en controles volgen voor assessment van
prospectieve verandering (vooruit in tijd).
• Handig voor richting en verandering vaststellen, maar kost veel
tijd en geld.
▪ Case-control studie: assessment van retrospectieve voorspellers /
risicofactoren bij cases en controles (terug in tijd).
• Handig bij zeldzame/langdurige uitkomsten, maar
controlegroep moeilijk te bepalen en kans op recall bias.
Problemen bij longitudinale onderzoeken:
- Kiezen van optimale tijdsintervallen.
- Recall bias (minder accuraat bij langere referentieperiodes).
- Disentangling effecten van leeftijd, periode en cohort (context, bv. lockdown).
- Panel conditioneren (oefeneffecten; meer bij kortere referentieperiodes).
Selectiebias: selectie waarbij randomisatie niet bereikt wordt (niet representatief voor
populatie). Voorbeelden:
- Sampling bias (ascertainment bias), toewijzingsbias, volunteer bias.
- Confirmatie bias (wordt verholpen door blinding).
- Publicatie bias (zou overwonnen moeten worden door open wetenschap).
- Non-respons bias: probleem van missende waardes (bv. attitie/drop-out).
College 1
Goede onderzoeken hebben grotere precisie, parsimony (zo min mogelijk aannames),
testbaarheid en falsifieerbaarheid.
- Wees bewust van vloer- en plafondeffecten (bv. veel lage scores bij te moeilijke test).
- Controlevariabelen houd je constant.
o Je kunt ze omzetten tot OV’s (bv. gender als OV in quasi-experiment).
Types validiteit:
- Interne validiteit: komen resultaten wel door interventie?
- Externe validiteit: resultaten te generaliseren?
- Constructvaliditeit: welk aspect van interventie veroorzaakt resultaten?
- Statistische validiteit: statistische conclusies correct?
Correlatie: richting en grootte van relatie tussen twee variabelen.
- Correlatie is een voorwaarde voor causaliteit, maar met correlatie alleen kun je hier
niks over zeggen (asymmetrisch).
o Temporale volgorde voorspelt causaliteit ook niet.
- Regressie: ene variabele voorspellen als je de andere weet.
Type I fout (α-fout): significant effect, maar in werkelijkheid geen effect (vals positief).
Type II fout (ß-fout): non-significant effect, maar in werkelijkheid wel effect (vals negatief).
- Significantiecriterium (α): maximaal risico op verkeerde H0-verwerping.
- Effectgrootte: grootte van verschil/correlatie/relatie.
o T-toets = Cohens d. ANOVA = f (d/2) of partial eta2. Correlatie = Pearson’s r.
o Cohens d = (M1 – M2)/SD.
▪ d = .20 is klein, d = .50 is medium en d = .80 is groot.
o Verwachte effectgrootte is meestal medium (nooit groot).
- Power (1-ß): waarschijnlijkheid van significant effect vinden (H0 juist verwerpen).
o Groter bij grotere effectgrootte (meeste invloed).
▪ Vergroot systematische variantie, verminder errorvariantie, overweeg
within-subjects design.
o Groter bij grotere α.
o Groter bij grotere N (minste invloed).
Publicatie van kleine onderzoeken met grote effecten kan door meer random fluctuatie van
effecten in kleine samples (over/onderschattingen) of door publicatiebias. Vertrouw
onderzoeken met kleine samples niet!
, College 2
Longitudinale RCT’s zijn het sterkste (wel beperkte externe validiteit bij experimenten).
Succesvolle randomisatie (bij grote sample) vermindert selectie- en toewijzing-biases.
Blinding vermindert prestatiebias.
Efficacy: resultaat verkregen over beoogde (ideale) behandelomstandigheden.
- Exclusie van bepaalde patiënten kan leiden tot ascertainment bias.
o Bij intention-to-treat (ITT) analyses wordt de originele randomisatie
behouden, wat biases vermindert (bevat alle deelnemers die begonnen zijn).
- CONSORT: statement om RCT-verslagen te verbeteren (bevat checklist en flow
diagram).
Observationeel onderzoek:
- Beschrijvend onderzoek (zonder vergelijkingsgroep) → Gebruikt beschrijvende
statistiek (beschrijft alleen sample).
- Analytisch onderzoek (met vergelijkingsgroep) → Gebruikt inferentiële statistiek
(generaliseert naar populatie).
o Concurrent design (cross-sectional); alle metingen in één assessment.
o Longitudinaal design:
▪ Cohort studie: cases en controles volgen voor assessment van
prospectieve verandering (vooruit in tijd).
• Handig voor richting en verandering vaststellen, maar kost veel
tijd en geld.
▪ Case-control studie: assessment van retrospectieve voorspellers /
risicofactoren bij cases en controles (terug in tijd).
• Handig bij zeldzame/langdurige uitkomsten, maar
controlegroep moeilijk te bepalen en kans op recall bias.
Problemen bij longitudinale onderzoeken:
- Kiezen van optimale tijdsintervallen.
- Recall bias (minder accuraat bij langere referentieperiodes).
- Disentangling effecten van leeftijd, periode en cohort (context, bv. lockdown).
- Panel conditioneren (oefeneffecten; meer bij kortere referentieperiodes).
Selectiebias: selectie waarbij randomisatie niet bereikt wordt (niet representatief voor
populatie). Voorbeelden:
- Sampling bias (ascertainment bias), toewijzingsbias, volunteer bias.
- Confirmatie bias (wordt verholpen door blinding).
- Publicatie bias (zou overwonnen moeten worden door open wetenschap).
- Non-respons bias: probleem van missende waardes (bv. attitie/drop-out).
