CHAPTER 10: THE NON-EXPERIMENTAL AND QUASI-EXPERIMENTAL STRATEGIES:
NON EQUIVALENT GROUP, PRE-POST, AND DEVELOPMENTAL DESIGNS
10.1 NON-EXPERIMENTAL AND QUASI-EXPERIMENTAL RESEARCH STRATEGIES
- experimentele onderzoeksstrategie werd in H7 geïntroduceerd als middel om een
oorzaak-gevolgrelatie tussen variabelen vast te stellen
- bedenk dat de experimentele strategie zich van andere onderzoeksstrategieën
onderscheidt door 2 basisvereisten:
- manipulatie van 1 variabele en controle van andere, externe variabelen
- in veel onderzoek situaties is het moeilijk/onmogelijk voor een onderzoeker om
volledig te voldoen aan de strenge eisen van een experiment
- dit geldt voor toegepast onderzoek in natuurlijke omgevingen
- zoals educatief onderzoek in de klas en klinisch onderzoek met echte cliënten
- in deze situaties kan een onderzoeker vaak een onderzoeksstrategie
bedenken waarbij groepen scores worden vergeleken, zoals in een
experiment maar die niet voldoet aan ten minste 1 van de vereisten van een
echt experiment
- hoewel deze studies op experimenten lijken, bevatten ze altijd een
confounding variabele of andere bedreiging voor interne validiteit die een
integraal onderdeel is van het ontwerp en niet kan worden verwijderd
- bestaan van zulke bedreigingen voor interne validiteit betekent dat deze
studies geen eenduidige oorzaak-gevolgrelaties kunnen vaststellen en
daarom geen echte experimenten zijn
- zulke studies zijn => niet-experimentele onderzoeken
- niet experimentele onderzoek = vergelijkt groepen of condities die worden
gedefinieerd door een niet-gemanipuleerde variabele (zoals een
deelnemersvariabele of een tijdsvariabele), maar doet weinig tot geen poging om
bedreigingen voor interne validiteit te controleren
- hierdoor kan men meestal geen oorzaak-gevolg conclusies trekken
- soms wordt een niet-experimentele studie aangepast in een poging de bedreigingen
voor interne validiteit te minimaliseren
- quasi-experimentele studies = vergelijkt ook groepen of condities op basis van een
niet-gemanipuleerde variabele, maar probeert actief bedreigingen voor interne
validiteit te beperken met controleprocedures
- hoewel volledige experimentele controle ontbreekt, laat deze strategie meer
onderbouwde conclusies toe dan niet-experimenteel onderzoek
- resulterende ontwerpen worden quasi-experimentele studies genoemd
- onderscheid tussen niet-experimentele onderzoeksstrategie en
quasi-experimentele onderzoeksstrategie
- => mate waarin de onderzoeksstrategie confounding beperkt en bedreigingen
voor interne validiteit beheerst
- als een onderzoeksontwerp weinig of geen poging doet om bedreigingen te
minimaliseren, wordt het geclassificeerd als niet-experimenteel
- quasi-experimenteel ontwerp daarentegen doet poging om bedreigingen
voor interne validiteit te minimaliseren en benadert de nauwkeurigheid van
een echt experiment
1
, - aan het einde van dit hoofdstuk bespreken we ontwikkelingsonderzoek,
waaronder onderzoeksopzetten die bedoeld zijn om te onderzoeken hoe
leeftijd verband houdt met andere variabelen
- omdat leeftijd een variabele is die niet kan worden gemanipuleerd, zijn deze
ontwikkeling opzetten die de effecten van leeftijd onderzoeken geen echte
experimenten en kunnen ze worden opgenomen in andere categorieën van
niet-experimenteel onderzoek
- ontwikkelings opzetten worden over het algemeen gepresenteerd als een
aparte groep onderzoeksopzetten met hun eigen terminologie
- terwijl we de basisontwikkelings onderzoeksopzetten introduceren, bespreken
we hoe ze zich verhouden tot andere soorten niet-experimenteel onderzoek
THE STRUCTURE OF NON-EXPERIMENTAL AND QUASI-EXPERIMENTAL DESIGNS
= structuur van niet-experimentele en quasi-experimentele ontwerpen
- niet-experimentele en quasi-experimentele studies lijken vaak op experimenten
wat betreft de algemene structuur van het onderzoek
- in een experiment creëert een onderzoeker bv. doorgaans behandelings condities
door een onafhankelijke variabele te manipuleren en meet vervolgens deelnemers
om een reeks scores binnen elke conditie te verkrijgen
- als scores in de ene conditie verschillen van scores in de andere conditie, dan kan
onderzoeker concluderen dat de 2 behandelings condities verschillende effecten
hebben (Figuur 10.1)
- evenzo produceert een niet-experimenteel of quasi-experimenteel onderzoek ook
groepen scores die vergeleken moeten worden op statistisch verschillen
- 1 variabele wordt gebruikt om groepen of condities te creëren, en vervolgens wordt
een 2de variabele gemeten om een set scores binnen elke conditie te verkrijgen
- in niet-experimentele en quasi-experimentele onderzoeken worden de
verschillende groepen of behandelings condities niet gecreëerd door een
onafhankelijke variabele te manipuleren
- in plaats daarvan worden de groepen meestal gedefinieerd in termen van een
specifieke deelnemers variabele (bv. student VS niet-student, roker VS niet-roker) of
in termen van tijd (bv. voor en na de behandeling)
- deze 2 methoden voor het definiëren van groepen leveren 2 algemene categorieën
van niet-experimentele en quasi-experimentele designs op:
1. BSD => ook wel bekend als niet-equivalente groep designs
2. WSD => ook wel bekend als pre-post designs
- vb. van 2 algemene typen niet-experimenteel en quasi-experimenteel onderzoek
worden weergegeven in figuur 10.2, en tabel 10.1 geeft een overzicht van
niet-experimentele en quasi-experimentele onderzoeksontwerpen die in de volgende
paragrafen worden besproken
10.2 BETWEEN-SUBJECTS NON-EXPERIMENTAL AND QUASI-EXPERIMENTAL
DESIGNS: NON-EQUIVALENT GROUP DESIGNS
- gemeenschappelijk element van BSD experimenten is de beheersing van individuele
verschillen door deelnemers toe te wijzen aan specifieke behandelings condities
- doel => is om groepen in evenwicht te brengen of gelijk te trekken door middel van
een willekeurig toewijzingsproces of door deelnemers opzettelijk te matchen over
behandelings condities
2
, - onderzoeker probeert equivalente groepen deelnemers te creëren door actief te
controleren welke individuen in welke groepen terechtkomen
- er zijn situaties waarin onderzoeker reeds bestaande groepen moet onderzoeken
- bv. onderzoeker wil prestaties van leerlingen op een middelbare school die
leerlingen aanmoedigt om hun telefoons en tablets tijdens de les te
gebruiken, vergelijken met prestaties van leerlingen op een middelbare
school die het gebruik van elektronische apparaten verbiedt
- in dit onderzoek heeft onderzoeker geen controle over welke individuen aan
welke groep worden toegewezen => de 2 groepen deelnemers bestaan al
- omdat onderzoeker geen willekeurige toewijzing of matching kan gebruiken
om de individuele verschillen tussen groepen te minimaliseren, is er geen
garantie dat de 2 groepen equivalent zijn
- in deze situatie wordt het onderzoek een niet-equivalent groepsontwerp
genoemd
- niet-equivalent groepsontwerp = is een onderzoek waarin de verschillende
groepen deelnemers worden gevormd onder omstandigheden die het de
onderzoeker niet toestaan om de toewijzing van individuen aan groepen te
controleren, en de groepen deelnemers worden daarom als niet-equivalent
beschouwd
- in het bijzonder kan de onderzoeker geen willekeurige toewijzing gebruiken
om groepen deelnemers te creëren
THREATS TO INTERNAL VALIDITY FOR NON-EQUIVALENT GROUP DESIGNS
= bedreigingen voor interne validiteit van niet-equivalente groepsontwerpen
- algemeen vb. van een niet-equivalent groepsontwerp wordt weergegeven in figuur
10.3.
- groepen worden gedifferentieerd door 1 specifieke factor die de groepen identificeert
- in het vb. waarin elektronische apparaten in de klas werden geëvalueerd, was de
differentiërende factor het schoolbeleid: 1 middelbare school moedigde het gebruik
aan en 1 verbood het gebruik
- doel van het onderzoek is om aan te tonen dat de factor die de groepen
differentieert, verantwoordelijk is voor het verschil in scores van deelnemers tussen
de groepen
- in dit vb. is het doel om aan te tonen dat het schoolbeleid met betrekking tot
elektronische apparaten verantwoordelijk is voor de verschillende niveaus van
leerlingprestaties op de 2 scholen
- niet-equivalent groepsontwerp heeft een ingebouwde bedreiging voor interne
validiteit die een ondubbelzinnige oorzaak-gevolg verklaring uitsluit
- bedenk dat individuele verschillen een confounding werking hebben wanneer de
toewijzingsprocedure groepen oplevert met verschillende deelnemers kenmerken
- de 2 middelbare scholen in het onderzoek naar elektronische apparaten kunnen bv.
verschillen in termen van IQ's van leerlingen, sociaaleconomische achtergrond,
etniciteit, motivatie van leerlingen, het niveau van middelen op school, enz.
- deze variabelen zijn allemaal potentiële confounding variabelen, omdat elk van hen
verschillen tussen de 2 groepen zou kunnen verklaren
- omdat de toewijzing van deelnemers niet wordt gecontroleerd in een onderzoek met
niet-equivalente groepen, wordt dit type onderzoek altijd bedreigd door individuele
verschillen
3
NON EQUIVALENT GROUP, PRE-POST, AND DEVELOPMENTAL DESIGNS
10.1 NON-EXPERIMENTAL AND QUASI-EXPERIMENTAL RESEARCH STRATEGIES
- experimentele onderzoeksstrategie werd in H7 geïntroduceerd als middel om een
oorzaak-gevolgrelatie tussen variabelen vast te stellen
- bedenk dat de experimentele strategie zich van andere onderzoeksstrategieën
onderscheidt door 2 basisvereisten:
- manipulatie van 1 variabele en controle van andere, externe variabelen
- in veel onderzoek situaties is het moeilijk/onmogelijk voor een onderzoeker om
volledig te voldoen aan de strenge eisen van een experiment
- dit geldt voor toegepast onderzoek in natuurlijke omgevingen
- zoals educatief onderzoek in de klas en klinisch onderzoek met echte cliënten
- in deze situaties kan een onderzoeker vaak een onderzoeksstrategie
bedenken waarbij groepen scores worden vergeleken, zoals in een
experiment maar die niet voldoet aan ten minste 1 van de vereisten van een
echt experiment
- hoewel deze studies op experimenten lijken, bevatten ze altijd een
confounding variabele of andere bedreiging voor interne validiteit die een
integraal onderdeel is van het ontwerp en niet kan worden verwijderd
- bestaan van zulke bedreigingen voor interne validiteit betekent dat deze
studies geen eenduidige oorzaak-gevolgrelaties kunnen vaststellen en
daarom geen echte experimenten zijn
- zulke studies zijn => niet-experimentele onderzoeken
- niet experimentele onderzoek = vergelijkt groepen of condities die worden
gedefinieerd door een niet-gemanipuleerde variabele (zoals een
deelnemersvariabele of een tijdsvariabele), maar doet weinig tot geen poging om
bedreigingen voor interne validiteit te controleren
- hierdoor kan men meestal geen oorzaak-gevolg conclusies trekken
- soms wordt een niet-experimentele studie aangepast in een poging de bedreigingen
voor interne validiteit te minimaliseren
- quasi-experimentele studies = vergelijkt ook groepen of condities op basis van een
niet-gemanipuleerde variabele, maar probeert actief bedreigingen voor interne
validiteit te beperken met controleprocedures
- hoewel volledige experimentele controle ontbreekt, laat deze strategie meer
onderbouwde conclusies toe dan niet-experimenteel onderzoek
- resulterende ontwerpen worden quasi-experimentele studies genoemd
- onderscheid tussen niet-experimentele onderzoeksstrategie en
quasi-experimentele onderzoeksstrategie
- => mate waarin de onderzoeksstrategie confounding beperkt en bedreigingen
voor interne validiteit beheerst
- als een onderzoeksontwerp weinig of geen poging doet om bedreigingen te
minimaliseren, wordt het geclassificeerd als niet-experimenteel
- quasi-experimenteel ontwerp daarentegen doet poging om bedreigingen
voor interne validiteit te minimaliseren en benadert de nauwkeurigheid van
een echt experiment
1
, - aan het einde van dit hoofdstuk bespreken we ontwikkelingsonderzoek,
waaronder onderzoeksopzetten die bedoeld zijn om te onderzoeken hoe
leeftijd verband houdt met andere variabelen
- omdat leeftijd een variabele is die niet kan worden gemanipuleerd, zijn deze
ontwikkeling opzetten die de effecten van leeftijd onderzoeken geen echte
experimenten en kunnen ze worden opgenomen in andere categorieën van
niet-experimenteel onderzoek
- ontwikkelings opzetten worden over het algemeen gepresenteerd als een
aparte groep onderzoeksopzetten met hun eigen terminologie
- terwijl we de basisontwikkelings onderzoeksopzetten introduceren, bespreken
we hoe ze zich verhouden tot andere soorten niet-experimenteel onderzoek
THE STRUCTURE OF NON-EXPERIMENTAL AND QUASI-EXPERIMENTAL DESIGNS
= structuur van niet-experimentele en quasi-experimentele ontwerpen
- niet-experimentele en quasi-experimentele studies lijken vaak op experimenten
wat betreft de algemene structuur van het onderzoek
- in een experiment creëert een onderzoeker bv. doorgaans behandelings condities
door een onafhankelijke variabele te manipuleren en meet vervolgens deelnemers
om een reeks scores binnen elke conditie te verkrijgen
- als scores in de ene conditie verschillen van scores in de andere conditie, dan kan
onderzoeker concluderen dat de 2 behandelings condities verschillende effecten
hebben (Figuur 10.1)
- evenzo produceert een niet-experimenteel of quasi-experimenteel onderzoek ook
groepen scores die vergeleken moeten worden op statistisch verschillen
- 1 variabele wordt gebruikt om groepen of condities te creëren, en vervolgens wordt
een 2de variabele gemeten om een set scores binnen elke conditie te verkrijgen
- in niet-experimentele en quasi-experimentele onderzoeken worden de
verschillende groepen of behandelings condities niet gecreëerd door een
onafhankelijke variabele te manipuleren
- in plaats daarvan worden de groepen meestal gedefinieerd in termen van een
specifieke deelnemers variabele (bv. student VS niet-student, roker VS niet-roker) of
in termen van tijd (bv. voor en na de behandeling)
- deze 2 methoden voor het definiëren van groepen leveren 2 algemene categorieën
van niet-experimentele en quasi-experimentele designs op:
1. BSD => ook wel bekend als niet-equivalente groep designs
2. WSD => ook wel bekend als pre-post designs
- vb. van 2 algemene typen niet-experimenteel en quasi-experimenteel onderzoek
worden weergegeven in figuur 10.2, en tabel 10.1 geeft een overzicht van
niet-experimentele en quasi-experimentele onderzoeksontwerpen die in de volgende
paragrafen worden besproken
10.2 BETWEEN-SUBJECTS NON-EXPERIMENTAL AND QUASI-EXPERIMENTAL
DESIGNS: NON-EQUIVALENT GROUP DESIGNS
- gemeenschappelijk element van BSD experimenten is de beheersing van individuele
verschillen door deelnemers toe te wijzen aan specifieke behandelings condities
- doel => is om groepen in evenwicht te brengen of gelijk te trekken door middel van
een willekeurig toewijzingsproces of door deelnemers opzettelijk te matchen over
behandelings condities
2
, - onderzoeker probeert equivalente groepen deelnemers te creëren door actief te
controleren welke individuen in welke groepen terechtkomen
- er zijn situaties waarin onderzoeker reeds bestaande groepen moet onderzoeken
- bv. onderzoeker wil prestaties van leerlingen op een middelbare school die
leerlingen aanmoedigt om hun telefoons en tablets tijdens de les te
gebruiken, vergelijken met prestaties van leerlingen op een middelbare
school die het gebruik van elektronische apparaten verbiedt
- in dit onderzoek heeft onderzoeker geen controle over welke individuen aan
welke groep worden toegewezen => de 2 groepen deelnemers bestaan al
- omdat onderzoeker geen willekeurige toewijzing of matching kan gebruiken
om de individuele verschillen tussen groepen te minimaliseren, is er geen
garantie dat de 2 groepen equivalent zijn
- in deze situatie wordt het onderzoek een niet-equivalent groepsontwerp
genoemd
- niet-equivalent groepsontwerp = is een onderzoek waarin de verschillende
groepen deelnemers worden gevormd onder omstandigheden die het de
onderzoeker niet toestaan om de toewijzing van individuen aan groepen te
controleren, en de groepen deelnemers worden daarom als niet-equivalent
beschouwd
- in het bijzonder kan de onderzoeker geen willekeurige toewijzing gebruiken
om groepen deelnemers te creëren
THREATS TO INTERNAL VALIDITY FOR NON-EQUIVALENT GROUP DESIGNS
= bedreigingen voor interne validiteit van niet-equivalente groepsontwerpen
- algemeen vb. van een niet-equivalent groepsontwerp wordt weergegeven in figuur
10.3.
- groepen worden gedifferentieerd door 1 specifieke factor die de groepen identificeert
- in het vb. waarin elektronische apparaten in de klas werden geëvalueerd, was de
differentiërende factor het schoolbeleid: 1 middelbare school moedigde het gebruik
aan en 1 verbood het gebruik
- doel van het onderzoek is om aan te tonen dat de factor die de groepen
differentieert, verantwoordelijk is voor het verschil in scores van deelnemers tussen
de groepen
- in dit vb. is het doel om aan te tonen dat het schoolbeleid met betrekking tot
elektronische apparaten verantwoordelijk is voor de verschillende niveaus van
leerlingprestaties op de 2 scholen
- niet-equivalent groepsontwerp heeft een ingebouwde bedreiging voor interne
validiteit die een ondubbelzinnige oorzaak-gevolg verklaring uitsluit
- bedenk dat individuele verschillen een confounding werking hebben wanneer de
toewijzingsprocedure groepen oplevert met verschillende deelnemers kenmerken
- de 2 middelbare scholen in het onderzoek naar elektronische apparaten kunnen bv.
verschillen in termen van IQ's van leerlingen, sociaaleconomische achtergrond,
etniciteit, motivatie van leerlingen, het niveau van middelen op school, enz.
- deze variabelen zijn allemaal potentiële confounding variabelen, omdat elk van hen
verschillen tussen de 2 groepen zou kunnen verklaren
- omdat de toewijzing van deelnemers niet wordt gecontroleerd in een onderzoek met
niet-equivalente groepen, wordt dit type onderzoek altijd bedreigd door individuele
verschillen
3
