1.1 Ethiek van experimenteel onderzoek
Onderzoekers hebben verantwoordelijkheid om de deelnemers van hun onderzoek te beschermen.
Ethische richtlijnen bij het doen van onderzoek zijn opgesteld om psychologen te doen realiseren dat
zij de plicht hebben om de rechten en waardigheid van de deelnemers aan hun onderzoek te
respecteren en te bewaken. Sommige richtlijnen zijn vastgelegd in wetgeving, terwijl de meeste
richtlijnen een groot grijs gebied kennen waar per situatie een oordeel zal moeten worden gevormd.
De belangrijkste overkoepelende richtlijn is dat onderzoek zo moet zijn opgesteld dat het de
proefpersoon zo min mogelijk belast, ook wel het principe van minimized harm genoemd. Omdat het
soms lastig is deze ethische overwegingen te maken is het voor onderzoekers vereist om hun
onderzoek vooraf te laten toetsen door een ethische commissie.
Onderzoekers moeten ernaar streven om vooraf toestemming te krijgen van hun
onderzoeksdeelnemers. Het is dan niet alleen van belang dat de deelnemers de mogelijkheid krijgen om
ja of nee te antwoorden; de onderzoeker dient de deelnemers ook voldoende informatie te hebben
gegeven zodat de deelnemer een overwogen besluit kan nemen tot deelname. Deze combinatie van
informatie verstrekken en toestemming vragen heet informed consent. Wanneer de deelnemer een
handeling moet verrichten om toestemming te verlenen, zoals het ondertekenen van een informed
consent-formulier dan heet dit active informed consent. Wanneer de deelnemer een handeling moet
verrichten om niet deel te nemen aan een onderzoek dan heet dit passive informed consent.
Consent kan slechts informed zijn wanneer deelnemers geïnformeerd zijn over de volgende zaken:
- Vrijwillige deelname: er moet duidelijk worden gemaakt dat deelname aan het onderzoek
vrijwillig is en dat het weigeren van deelname geen negatieve consequenties met zich
meedraagt.
- Recht op deelname beëindigen: Het moet duidelijk zijn dat een participant het recht heeft
om op ieder moment deelname aan het onderzoek te staken. De onderzoeker is niet
verplicht alle gegevens tot dat punt te vernietigen, maar is wel verplicht vooraf de
deelnemers te laten weten wat er met hun gegevens gebeurt.
- Doel van onderzoek: waar mogelijk moet de onderzoeker in voor de deelnemers heldere
termen toelichten wat het doel van het onderzoek is.
- Onderzoeksprocedure: de deelnemers moeten van te voren een overzicht of op zijn minst
een helder beeld hebben van de gevolgde onderzoeksprocedure.
- Risico’s : alle voorzienbare lichamelijke of psychologische risico’s en ongemakken die de
deelnemers kunnen treffen moeten vooraf bekend zijn.
- Maatschappelijk nut van onderzoek: het liefst worden deelnemers geïnformeerd over het
hogere nut van hun deelname aan het onderzoek.
- Duur van het onderzoek: De duur van de belasting moet vooraf bekend zijn.
- Contactinformatie: de consentinformatie moet de contactgegevens bevatten van de persoon
die benaderd kan worden voor eventuele vragen of in het geval van letsel of noodgevallen.
- Anonimiteit: het moet voor de deelnemers absoluut helder zijn hoe hun gegevens worden
verwerkt.
Het doel van de debriefing kort na afloop van het onderzoek is het wegnemen van misconcepties of
onzekerheden die deelnemers kunnen hebben over het onderzoek. Een goede debriefing laat de
deelnemers achter met het gevoel dat hun tijd niet verspild is. Het doel van de debriefing is niet
slechts het informeren van de deelnemer, maar om de deelnemer de experimentele situatie te doen
verlaten in een vergelijkbare stemming met hoe ze het experiment binnenkwamen.
Als zij in een van meerdere onderzoekscondities waren ingedeeld, zoals de controlegroep, dan is de
debriefing het moment waarop de deelnemer dit verneemt. Als de deelnemer voorgelogen moest
worden over de aard van het onderzoek dan geeft de onderzoeker in de debriefing openheid van
zaken en legt de deelnemer ook de redenen voor die deceptie uit. Eventuele vragen van deelnemers
moeten zo openlijk en eerlijk mogelijk beantwoord worden.
Het is soms noodzakelijk om deelnemers voor te liegen over de inhoud van en reden tot onderzoek.
,Hoewel er geen harde regels zijn, is de algemene richtlijn dat wanneer deelnemers
hoogstwaarschijnlijk aanstoot zouden nemen aan het bedrog of hoogstwaarschijnlijk geëmotioneerd
gaan raken na debriefing dan is er sprake van onacceptabel bedrog. Er is sprake van bedrog wanneer
de deelnemer op een of andere manier wordt voorgelogen. De drie bekendste vormen hiervan zijn:
1. Het gebruik van handlangers: de onderzoeker kan acteurs of onderzoeksassistenten inzetten
die zich voordoen als respondenten.
2. Staged manipulations in field settings: de omstandigheden waarin de proefpersoon zich
bevindt, kunnen gemanipuleerd worden, om zo een effect op de proefpersoon te hebben.
3. Misleidende instructies: de aard van het onderzoek kan van begin af aan misleidend worden
voorgesteld.
De proceduresectie in een experimenteel onderzoek is vaak vele malen uitgebreider dan die in niet-
experimentele onderzoeken. Het is ook in de proceduresectie waar de schrijver de lezers informeert
over ethische aspecten van de experimentele manipulatie. De proceduresectie moet enerzijds bondig
zijn geschreven, maar tegelijkertijd voldoende gedetailleerd zodat andere onderzoekers het
experiment na zouden kunnen doen. Daartoe dient de informatie logisch geordend te zijn en
voldoende structuurwoorden bevatten. De volgende informatie dient in een goede proceduresectie
te staan.
- Een samenvatting van de instructies die proefpersonen ontvangen hebben. Dit is bij voorkeur
niet een volledig transcript; als dit van belang is dan kan naar een appendix worden
verwezen. Hier komt ook de informatie over de informed consent.
- Een beschrijving van de specifieke experimentele manipulaties. Hoe zijn de onafhankelijke
variabelen in experimentele scenario’s geoperationaliseerd en hoe zijn de proefpersonen
hieraan blootgesteld?
- Als er eventuele counterbalancing of andere methoden van experimentele controle is
toegepast dan wordt dit ook in de proceduresectie toegelicht.
- Duur van het experiment.
- Eventuele beloningen voor het participeren in het onderzoek.
1.2 Bedreigers van interne en externe validiteit
De mate waarin een meting bij herhaling telkens hetzelfde resultaat oplevert heet de
betrouwbaarheid van die meting. Betrouwbaarheid is synoniem aan ruis of error. De niet-
systematische meetfout is dus het complement van de betrouwbaarheid. Bij een systematische
meetfout, ook wel bias genoemd is er geen sprake van een toevallige verstoring van het
meetresultaat, maar van een systematische vertekening en spreken we van validiteit. Validiteit is de
mate waarin een meetinstrument meet wat het moet meten. Als men spreekt over betrouwbaarheid
dan vraagt men zich af in hoeverre metingen vrij zijn van error. Als men spreekt over validiteit dan
vraagt men zich af in hoeverre het onderzoek vrij is van bias. Betrouwbaarheid is een statistisch
probleem, validiteit is meer een filosofisch probleem.
De interne validiteit betreft de vraag of er voldoende bewijs is dat X veranderingen op Y veroorzaakt,
met andere woorden: of de causale relatie tussen twee variabelen voldoende is aangetoond. Een
causale inferentie kan enkel bestaan wanneer aan drie condities is voldaan:
1. De oorzaak doet zich voor voorafgaand aan het effect (tijdsvolgorde / temporeel precedent).
2. De oorzaak en het gevolg zijn aan elkaar gerelateerd (covariatie).
3. Er zijn geen plausibele alternatieve verklaringen voor de geobserveerde covariatie (geen
schijnverband).
In experimentele proefopzetten proberen onderzoekers deze drie voorwaarden voor causale
inferenties veilig te stellen door zo veel mogelijk verstorende factoren onder controle te houden en
puur de experimentele (onafhankelijke) variabele te manipuleren om zo te zien wat het effect ervan
is op een afhankelijke variabele. Wanneer een manipulatie zo goed geïsoleerd is dat andere
verklaringen of rivaliserende hypothesen worden uitgesloten dan wordt gesteld dat de causale
inferentie intern valide is.
, Externe validiteit betreft de vraag in hoeverre resultaten uit onderzoek gegeneraliseerd kunnen
worden naar de doelpopulatie. Eigenlijk betreft dit twee soorten van generaliseerbaarheid:
1. de mate waarin situaties in het experiment gegeneraliseerd kunnen worden naar situaties in
het echte leven: de generaliseerbaarheid tussen situaties. Dit wordt ook wel de ecologische
validiteit genoemd.
2. de mate waarin de mensen die aan het onderzoek hebben deelgenomen een weergave zijn
van de doelpopulatie in het algemeen: de generaliseerbaarheid tussen mensen.
Het is van belang om te benadrukken dat het generaliseren naar de populatie niet betekent dat er
gegeneraliseerd moet kunnen worden naar andere populaties, of de mensheid in het algemeen. In
ieder onderzoek dienen onderzoekers duidelijk te maken welke doelpopulatie zij voor ogen hebben,
en de steekproef moet daar een realistische weergave van zijn.
Ecologische validiteit is niet synoniem aan realisme. Vaak als men het over een realistisch experiment
heeft dan bedoelt men: psychologisch realistisch, oftewel de mate waarin psychologische processen
die door het experiment worden opgeroepen vergelijkbaar zijn met hoe deze psychologische
processen worden opgeroepen in het dagelijks leven.
Om zeker te stellen dat conclusies uit een onderzoek intern en extern valide zijn, moeten
onderzoekers voorzorgsmaatregelen treffen bij het ontwerpen van hun experimenten. Des te meer
onderzoekers een experiment dichttimmeren door externe factoren buiten te sluiten en
proefpersoonskenmerken onder controle te houden des te minder realistisch wordt het experiment
met verminderde en daarom ook minder externe validiteit tot gevolg. Onderzoekers zullen daarom
van geval tot geval moeten beoordelen welke validiteitsbedreigers het grootste gevaar kunnen zijn.
Bedreigers van interne validiteit:
1. Tussentijds extern voorval (history)
Er kan zich gedurende het onderzoek iets voorvallen buiten het onderzoek, omdat een effect heeft
op het gedrag of de attituden van de proefpersonen. Het onderzoek kan bijvoorbeeld verstoord
worden wanneer er net voorafgaand aan het onderzoek of tussen voor- en nameting een groot
incident heeft voorgedaan wat invloed heeft op het gedrag van de proefpersonen. Dit ongewone
externe voorval kan tot andere resultaten leiden dan normaal. Het is natuurlijk wel afhankelijk van de
tijd die tussen de voormeting en de nameting zit.
2. Rijping (maturation)
Proefpersonen veranderen gedurende de duur van een experiment. Als er in het experiment geen
mogelijkheid is ingebouwd om te controleren of waargenomen veranderingen toe te schrijven zijn
aan natuurlijke groei, dan is de interne validiteit bedreigd. Deze rijping hoeft niet over langetermijn
te gaan, maar er kan ook sprake zijn van rijping op korte termijn, zoals concentratieverlies.
3. Testeffect
Het herhaaldelijk meten van proefpersonen kan ook tot een vertekening leiden. Als proefpersonen
een voormeting hebben gekregen, dan kunnen ze goede antwoorden onthouden hebben, geoefend
zijn geraakt in de taak, of zelf gewend zijn geraakt aan het idee dat ze worden getest. Het gevolg
hiervan is dat de onderzoeker niet meer kan vaststellen of een verbetering in testscores toe te wijzen
is aan de experimentele manipulatie. Om deze validiteitsbedreiger onder controle te houden worden
experimenten dikwijls zonder voormeting uitgevoerd, of worden groepen aan het experiment
toegevoegd die geen voormeting hebben gekregen, zodat deze kunnen worden vergeleken met
groepen die wel een voormeting ondergingen.
4. Instrumentation
Als het meetinstrument gedurende het experiment verandert dan veranderen hoogstwaarschijnlijk
ook de uitkomsten. Als een onderzoeker op een later meetmoment overschakelt op een ander
meetinstrument, dan verandert de onderzoeker wat er gemeten wordt, of de criteria waarop de
metingen worden beoordeeld. Soms is het onvermijdelijk om van meetinstrument te veranderen.
Ongeacht de reden: zodra de meetinstrumenten of de beoordelingscriteria veranderen, dan is de
interne validiteit bedreigd. Een van de mogelijke oplossingen is het toepassen van een retrospectieve
Onderzoekers hebben verantwoordelijkheid om de deelnemers van hun onderzoek te beschermen.
Ethische richtlijnen bij het doen van onderzoek zijn opgesteld om psychologen te doen realiseren dat
zij de plicht hebben om de rechten en waardigheid van de deelnemers aan hun onderzoek te
respecteren en te bewaken. Sommige richtlijnen zijn vastgelegd in wetgeving, terwijl de meeste
richtlijnen een groot grijs gebied kennen waar per situatie een oordeel zal moeten worden gevormd.
De belangrijkste overkoepelende richtlijn is dat onderzoek zo moet zijn opgesteld dat het de
proefpersoon zo min mogelijk belast, ook wel het principe van minimized harm genoemd. Omdat het
soms lastig is deze ethische overwegingen te maken is het voor onderzoekers vereist om hun
onderzoek vooraf te laten toetsen door een ethische commissie.
Onderzoekers moeten ernaar streven om vooraf toestemming te krijgen van hun
onderzoeksdeelnemers. Het is dan niet alleen van belang dat de deelnemers de mogelijkheid krijgen om
ja of nee te antwoorden; de onderzoeker dient de deelnemers ook voldoende informatie te hebben
gegeven zodat de deelnemer een overwogen besluit kan nemen tot deelname. Deze combinatie van
informatie verstrekken en toestemming vragen heet informed consent. Wanneer de deelnemer een
handeling moet verrichten om toestemming te verlenen, zoals het ondertekenen van een informed
consent-formulier dan heet dit active informed consent. Wanneer de deelnemer een handeling moet
verrichten om niet deel te nemen aan een onderzoek dan heet dit passive informed consent.
Consent kan slechts informed zijn wanneer deelnemers geïnformeerd zijn over de volgende zaken:
- Vrijwillige deelname: er moet duidelijk worden gemaakt dat deelname aan het onderzoek
vrijwillig is en dat het weigeren van deelname geen negatieve consequenties met zich
meedraagt.
- Recht op deelname beëindigen: Het moet duidelijk zijn dat een participant het recht heeft
om op ieder moment deelname aan het onderzoek te staken. De onderzoeker is niet
verplicht alle gegevens tot dat punt te vernietigen, maar is wel verplicht vooraf de
deelnemers te laten weten wat er met hun gegevens gebeurt.
- Doel van onderzoek: waar mogelijk moet de onderzoeker in voor de deelnemers heldere
termen toelichten wat het doel van het onderzoek is.
- Onderzoeksprocedure: de deelnemers moeten van te voren een overzicht of op zijn minst
een helder beeld hebben van de gevolgde onderzoeksprocedure.
- Risico’s : alle voorzienbare lichamelijke of psychologische risico’s en ongemakken die de
deelnemers kunnen treffen moeten vooraf bekend zijn.
- Maatschappelijk nut van onderzoek: het liefst worden deelnemers geïnformeerd over het
hogere nut van hun deelname aan het onderzoek.
- Duur van het onderzoek: De duur van de belasting moet vooraf bekend zijn.
- Contactinformatie: de consentinformatie moet de contactgegevens bevatten van de persoon
die benaderd kan worden voor eventuele vragen of in het geval van letsel of noodgevallen.
- Anonimiteit: het moet voor de deelnemers absoluut helder zijn hoe hun gegevens worden
verwerkt.
Het doel van de debriefing kort na afloop van het onderzoek is het wegnemen van misconcepties of
onzekerheden die deelnemers kunnen hebben over het onderzoek. Een goede debriefing laat de
deelnemers achter met het gevoel dat hun tijd niet verspild is. Het doel van de debriefing is niet
slechts het informeren van de deelnemer, maar om de deelnemer de experimentele situatie te doen
verlaten in een vergelijkbare stemming met hoe ze het experiment binnenkwamen.
Als zij in een van meerdere onderzoekscondities waren ingedeeld, zoals de controlegroep, dan is de
debriefing het moment waarop de deelnemer dit verneemt. Als de deelnemer voorgelogen moest
worden over de aard van het onderzoek dan geeft de onderzoeker in de debriefing openheid van
zaken en legt de deelnemer ook de redenen voor die deceptie uit. Eventuele vragen van deelnemers
moeten zo openlijk en eerlijk mogelijk beantwoord worden.
Het is soms noodzakelijk om deelnemers voor te liegen over de inhoud van en reden tot onderzoek.
,Hoewel er geen harde regels zijn, is de algemene richtlijn dat wanneer deelnemers
hoogstwaarschijnlijk aanstoot zouden nemen aan het bedrog of hoogstwaarschijnlijk geëmotioneerd
gaan raken na debriefing dan is er sprake van onacceptabel bedrog. Er is sprake van bedrog wanneer
de deelnemer op een of andere manier wordt voorgelogen. De drie bekendste vormen hiervan zijn:
1. Het gebruik van handlangers: de onderzoeker kan acteurs of onderzoeksassistenten inzetten
die zich voordoen als respondenten.
2. Staged manipulations in field settings: de omstandigheden waarin de proefpersoon zich
bevindt, kunnen gemanipuleerd worden, om zo een effect op de proefpersoon te hebben.
3. Misleidende instructies: de aard van het onderzoek kan van begin af aan misleidend worden
voorgesteld.
De proceduresectie in een experimenteel onderzoek is vaak vele malen uitgebreider dan die in niet-
experimentele onderzoeken. Het is ook in de proceduresectie waar de schrijver de lezers informeert
over ethische aspecten van de experimentele manipulatie. De proceduresectie moet enerzijds bondig
zijn geschreven, maar tegelijkertijd voldoende gedetailleerd zodat andere onderzoekers het
experiment na zouden kunnen doen. Daartoe dient de informatie logisch geordend te zijn en
voldoende structuurwoorden bevatten. De volgende informatie dient in een goede proceduresectie
te staan.
- Een samenvatting van de instructies die proefpersonen ontvangen hebben. Dit is bij voorkeur
niet een volledig transcript; als dit van belang is dan kan naar een appendix worden
verwezen. Hier komt ook de informatie over de informed consent.
- Een beschrijving van de specifieke experimentele manipulaties. Hoe zijn de onafhankelijke
variabelen in experimentele scenario’s geoperationaliseerd en hoe zijn de proefpersonen
hieraan blootgesteld?
- Als er eventuele counterbalancing of andere methoden van experimentele controle is
toegepast dan wordt dit ook in de proceduresectie toegelicht.
- Duur van het experiment.
- Eventuele beloningen voor het participeren in het onderzoek.
1.2 Bedreigers van interne en externe validiteit
De mate waarin een meting bij herhaling telkens hetzelfde resultaat oplevert heet de
betrouwbaarheid van die meting. Betrouwbaarheid is synoniem aan ruis of error. De niet-
systematische meetfout is dus het complement van de betrouwbaarheid. Bij een systematische
meetfout, ook wel bias genoemd is er geen sprake van een toevallige verstoring van het
meetresultaat, maar van een systematische vertekening en spreken we van validiteit. Validiteit is de
mate waarin een meetinstrument meet wat het moet meten. Als men spreekt over betrouwbaarheid
dan vraagt men zich af in hoeverre metingen vrij zijn van error. Als men spreekt over validiteit dan
vraagt men zich af in hoeverre het onderzoek vrij is van bias. Betrouwbaarheid is een statistisch
probleem, validiteit is meer een filosofisch probleem.
De interne validiteit betreft de vraag of er voldoende bewijs is dat X veranderingen op Y veroorzaakt,
met andere woorden: of de causale relatie tussen twee variabelen voldoende is aangetoond. Een
causale inferentie kan enkel bestaan wanneer aan drie condities is voldaan:
1. De oorzaak doet zich voor voorafgaand aan het effect (tijdsvolgorde / temporeel precedent).
2. De oorzaak en het gevolg zijn aan elkaar gerelateerd (covariatie).
3. Er zijn geen plausibele alternatieve verklaringen voor de geobserveerde covariatie (geen
schijnverband).
In experimentele proefopzetten proberen onderzoekers deze drie voorwaarden voor causale
inferenties veilig te stellen door zo veel mogelijk verstorende factoren onder controle te houden en
puur de experimentele (onafhankelijke) variabele te manipuleren om zo te zien wat het effect ervan
is op een afhankelijke variabele. Wanneer een manipulatie zo goed geïsoleerd is dat andere
verklaringen of rivaliserende hypothesen worden uitgesloten dan wordt gesteld dat de causale
inferentie intern valide is.
, Externe validiteit betreft de vraag in hoeverre resultaten uit onderzoek gegeneraliseerd kunnen
worden naar de doelpopulatie. Eigenlijk betreft dit twee soorten van generaliseerbaarheid:
1. de mate waarin situaties in het experiment gegeneraliseerd kunnen worden naar situaties in
het echte leven: de generaliseerbaarheid tussen situaties. Dit wordt ook wel de ecologische
validiteit genoemd.
2. de mate waarin de mensen die aan het onderzoek hebben deelgenomen een weergave zijn
van de doelpopulatie in het algemeen: de generaliseerbaarheid tussen mensen.
Het is van belang om te benadrukken dat het generaliseren naar de populatie niet betekent dat er
gegeneraliseerd moet kunnen worden naar andere populaties, of de mensheid in het algemeen. In
ieder onderzoek dienen onderzoekers duidelijk te maken welke doelpopulatie zij voor ogen hebben,
en de steekproef moet daar een realistische weergave van zijn.
Ecologische validiteit is niet synoniem aan realisme. Vaak als men het over een realistisch experiment
heeft dan bedoelt men: psychologisch realistisch, oftewel de mate waarin psychologische processen
die door het experiment worden opgeroepen vergelijkbaar zijn met hoe deze psychologische
processen worden opgeroepen in het dagelijks leven.
Om zeker te stellen dat conclusies uit een onderzoek intern en extern valide zijn, moeten
onderzoekers voorzorgsmaatregelen treffen bij het ontwerpen van hun experimenten. Des te meer
onderzoekers een experiment dichttimmeren door externe factoren buiten te sluiten en
proefpersoonskenmerken onder controle te houden des te minder realistisch wordt het experiment
met verminderde en daarom ook minder externe validiteit tot gevolg. Onderzoekers zullen daarom
van geval tot geval moeten beoordelen welke validiteitsbedreigers het grootste gevaar kunnen zijn.
Bedreigers van interne validiteit:
1. Tussentijds extern voorval (history)
Er kan zich gedurende het onderzoek iets voorvallen buiten het onderzoek, omdat een effect heeft
op het gedrag of de attituden van de proefpersonen. Het onderzoek kan bijvoorbeeld verstoord
worden wanneer er net voorafgaand aan het onderzoek of tussen voor- en nameting een groot
incident heeft voorgedaan wat invloed heeft op het gedrag van de proefpersonen. Dit ongewone
externe voorval kan tot andere resultaten leiden dan normaal. Het is natuurlijk wel afhankelijk van de
tijd die tussen de voormeting en de nameting zit.
2. Rijping (maturation)
Proefpersonen veranderen gedurende de duur van een experiment. Als er in het experiment geen
mogelijkheid is ingebouwd om te controleren of waargenomen veranderingen toe te schrijven zijn
aan natuurlijke groei, dan is de interne validiteit bedreigd. Deze rijping hoeft niet over langetermijn
te gaan, maar er kan ook sprake zijn van rijping op korte termijn, zoals concentratieverlies.
3. Testeffect
Het herhaaldelijk meten van proefpersonen kan ook tot een vertekening leiden. Als proefpersonen
een voormeting hebben gekregen, dan kunnen ze goede antwoorden onthouden hebben, geoefend
zijn geraakt in de taak, of zelf gewend zijn geraakt aan het idee dat ze worden getest. Het gevolg
hiervan is dat de onderzoeker niet meer kan vaststellen of een verbetering in testscores toe te wijzen
is aan de experimentele manipulatie. Om deze validiteitsbedreiger onder controle te houden worden
experimenten dikwijls zonder voormeting uitgevoerd, of worden groepen aan het experiment
toegevoegd die geen voormeting hebben gekregen, zodat deze kunnen worden vergeleken met
groepen die wel een voormeting ondergingen.
4. Instrumentation
Als het meetinstrument gedurende het experiment verandert dan veranderen hoogstwaarschijnlijk
ook de uitkomsten. Als een onderzoeker op een later meetmoment overschakelt op een ander
meetinstrument, dan verandert de onderzoeker wat er gemeten wordt, of de criteria waarop de
metingen worden beoordeeld. Soms is het onvermijdelijk om van meetinstrument te veranderen.
Ongeacht de reden: zodra de meetinstrumenten of de beoordelingscriteria veranderen, dan is de
interne validiteit bedreigd. Een van de mogelijke oplossingen is het toepassen van een retrospectieve
