Samenvatting Donal Khosrowi - Extrapolation of causal effects – hopes, assumptions,
and the extrapolator’s circle
1. Introductie
Evidence-Based Policy (EBP) gaat uit van het idee dat beleidseffecten die in één populatie
worden gevonden, kunnen worden gebruikt voor het voorspellen van de effecten van
soortgelijke, toekomstige interventies in afzonderlijke doelpopulaties (ook wel extrapolatie
genoemd). Deze strategie zit echter vol materiële problemen, omdat populaties vaak
verschillen in causaal relevante opzichten, waardoor het effect van een interventie doorgaans
niet hetzelfde zal zijn in de doelgroep als in het experiment. De niet-structurele
econometrische literatuur heeft covariate-based benaderingen bedacht om problemen rondom
extrapolatie te ondervangen; zij beschouwen causaal relevante verschillen tussen populaties
als interactieve covariaten (variabelen die verschillen in causale effecten tussen individuen en
tussen populaties). Het doel van deze benadering is om rekening te houden met verschillen in
de verschillende variabelen door de verwachting van het effect aan te passen aan de manier
waarop de variabelen zijn verdeeld. Het blijkt echter moeilijk te zijn om te leren voor welke
variabelen moet worden gecorrigeerd en hoe de verschillende variabelen betrokken zijn bij de
totstandkoming van de belangrijkste effecten (spelen de variabelen in beide populaties
bijvoorbeeld dezelfde causale rol). Bovenstaande leidt tot bezorgdheid over de cirkel van de
extrapolator: de vereiste kennis over de doelpopulatie kan zo uitgebreid zijn, dat men het
belangrijkste effect zou kunnen leren enkel op basis van informatie over de doelpopulatie.
Hierdoor wordt extrapolatie uit een experimentele populatie overbodig, maar er zijn gelukkig
andere strategieën die extrapolatie kunnen onderbouwen (zoals Comparative Process Tracing
Strategie (CPT)).
Er wordt onderscheid gemaakt tussen twee soorten extrapolatie, namelijk:
1. Attributieve extrapolatie (komt veel voor in EBP): heeft als doel om waargenomen
effecten causaal toe te schrijven aan hun vermoedelijke oorzaken. Zowel de
interventie als de vermoedelijke waargenomen effecten zijn van belang bij deze vorm
van extrapolatie;
2. Voorspellende extrapolatie: heeft als doel om toekomstige effecten van nog niet
waargenomen interventies te voorspellen. Bij deze vorm worden op het moment van
extrapolatie noch de interventie, noch de vermoedelijke effecten waargenomen.
Kwantitatieve waarnemingsgegevens kunnen hierbij niet worden gebruikt om te
bepalen of populaties voldoende vergelijkbaar zijn om extrapolatie toe te staan.
2. De grondbeginselen van extrapolatie
Volgens Steel moet elke overtuigende strategie voor extrapolatie aan twee aspecten voldoen.
Ten eerste moet een overtuigende strategie voor extrapolatie vertellen hoe extrapolatie,
ondanks verschillen tussen de experimentele populatie en de doelpopulatie, succesvol kan
verlopen. Hierbij wordt onderscheid gemaakt tussen drie niveaus waarop verschillen kunnen
optreden, namelijk:
1. Verschillen in de realisaties/distributies van variabelen: een causaal effect van X op Y
kan verschillen tussen individuen en populaties omdat er een verschil is in de
waarde/verdeling van een of meerdere variabelen (W) die verschillen in het causale
, effect teweegbrengt (wanneer W een hoger gemiddelde heeft in populatie B dan in
populatie A, zal het effect van een interventie op X groter zijn in B dan in A);
2. Verschillen in parameters die geassocieerd zijn met variabelen die een rol spelen in de
causale mechanismen die de belangrijkste effecten bepalen: X kan causaal relevant
zijn voor Y in twee populaties, maar de specifieke manier waarop X relevant is voor Y
kan verschillen tussen populaties;
3. De basisstructuur van de mechanismen die de betrokken effecten beheersen: X kan
causaal relevant zijn voor Y in populatie A, maar niet in populatie B omdat er in
populatie B geen causaal pad is dat X en Y verbindt.
Succesvolle extrapolatie hangt dus af van overeenkomsten en verschillen tussen populaties op
verschillende niveaus en het is noodzakelijk om rekening te houden met verschillen op één
van de niveaus. Daarnaast mag de cirkel van de extrapolator niet zo uitgebreid zijn dat het
causale effect enkel op basis van informatie kan worden geïdentificeerd, aangezien dit het
extrapoleren vanuit het experiment overbodig maakt (als men weet dat XZY in populatie
A en B voorkomt, is het overbodig om te extrapoleren uit A aangezien men uit informatie
over alleen B al kan afleiden dat X in B zorgt voor Y). Het is bij extrapolatie dus van belang
dat informatie op zichzelf geen identificatie van het belangrijkste effect is.
3. Extrapolatie in de econometrie
Interactieve en op covariaten gebaseerde strategieën voor extrapolatie erkennen dat er
belangrijke verschillen zijn tussen experimentele- en doelpopulaties. Om deze verschillen te
overwinnen wordt gericht op het eerste niveau: verschillen in de verdelingen van interactieve
covariaten (variabele(n) W kan leiden tot verschillen in causale effecten tussen individuen en
populaties). Rekening houden met deze verschillen tussen individuen en populaties gebeurt in
twee stappen, namelijk (1) het identificeren van een causaal effect in een experimentele
populatie als een conditioneel gemiddeld behandelingseffect (geschat op basis van de
verdeling van interactieve covariaten) en, (2) het opnieuw wegen van een conditioneel
gemiddeld behandelingseffect volgens de waargenomen verdeling van interactieve covariaten
in de doelpopulatie. Het in populatie A (experiment) verkregen gemiddelde wordt dus
opnieuw gewogen aan de hand van de waargenomen verdeling van een variabele in populatie
B (doelpopulatie).
Volgens Khosrowi houden interactieve en op covariaten gebaseerde strategieën zich echter
alleen bezig met het eerste niveau waarop causaal relevante verschillen tussen populaties
kunnen ontstaan. Het verantwoorden van deze verschillen is volgens hem alleen zinvol als er
op andere niveaus geen relevante verschillen bestaan tussen populaties. Zo kan S bijvoorbeeld
positief relevant zijn voor het effect van X op Y, maar aanpassing voor verschillen in S heeft
alleen zin als men er zeker van is dat de populaties op geen van de andere niveaus van elkaar
verschillen (vooral niet met betrekking tot de vraag óf of hóe S betrokken is bij het
belangrijkste effect). Populaties verschillen volgens Khosrowi vaak in de structurele opbouw,
omdat kenmerken (zoals instellingen, normen en psychologische kenmerken) van elkaar
verschillen.
Om te bekijken of experimentele- en doelpopulaties vergelijkbaar zijn qua basisstructuur van
causale mechanismen, is het van belang om iets te weten te komen over mechanismen in
beide populaties. Stel dat een mechanisme in de experimentele populatie wordt gezien als
XZY, dan moet men er zeker van zijn dat het mechanisme in de doelpopulatie
and the extrapolator’s circle
1. Introductie
Evidence-Based Policy (EBP) gaat uit van het idee dat beleidseffecten die in één populatie
worden gevonden, kunnen worden gebruikt voor het voorspellen van de effecten van
soortgelijke, toekomstige interventies in afzonderlijke doelpopulaties (ook wel extrapolatie
genoemd). Deze strategie zit echter vol materiële problemen, omdat populaties vaak
verschillen in causaal relevante opzichten, waardoor het effect van een interventie doorgaans
niet hetzelfde zal zijn in de doelgroep als in het experiment. De niet-structurele
econometrische literatuur heeft covariate-based benaderingen bedacht om problemen rondom
extrapolatie te ondervangen; zij beschouwen causaal relevante verschillen tussen populaties
als interactieve covariaten (variabelen die verschillen in causale effecten tussen individuen en
tussen populaties). Het doel van deze benadering is om rekening te houden met verschillen in
de verschillende variabelen door de verwachting van het effect aan te passen aan de manier
waarop de variabelen zijn verdeeld. Het blijkt echter moeilijk te zijn om te leren voor welke
variabelen moet worden gecorrigeerd en hoe de verschillende variabelen betrokken zijn bij de
totstandkoming van de belangrijkste effecten (spelen de variabelen in beide populaties
bijvoorbeeld dezelfde causale rol). Bovenstaande leidt tot bezorgdheid over de cirkel van de
extrapolator: de vereiste kennis over de doelpopulatie kan zo uitgebreid zijn, dat men het
belangrijkste effect zou kunnen leren enkel op basis van informatie over de doelpopulatie.
Hierdoor wordt extrapolatie uit een experimentele populatie overbodig, maar er zijn gelukkig
andere strategieën die extrapolatie kunnen onderbouwen (zoals Comparative Process Tracing
Strategie (CPT)).
Er wordt onderscheid gemaakt tussen twee soorten extrapolatie, namelijk:
1. Attributieve extrapolatie (komt veel voor in EBP): heeft als doel om waargenomen
effecten causaal toe te schrijven aan hun vermoedelijke oorzaken. Zowel de
interventie als de vermoedelijke waargenomen effecten zijn van belang bij deze vorm
van extrapolatie;
2. Voorspellende extrapolatie: heeft als doel om toekomstige effecten van nog niet
waargenomen interventies te voorspellen. Bij deze vorm worden op het moment van
extrapolatie noch de interventie, noch de vermoedelijke effecten waargenomen.
Kwantitatieve waarnemingsgegevens kunnen hierbij niet worden gebruikt om te
bepalen of populaties voldoende vergelijkbaar zijn om extrapolatie toe te staan.
2. De grondbeginselen van extrapolatie
Volgens Steel moet elke overtuigende strategie voor extrapolatie aan twee aspecten voldoen.
Ten eerste moet een overtuigende strategie voor extrapolatie vertellen hoe extrapolatie,
ondanks verschillen tussen de experimentele populatie en de doelpopulatie, succesvol kan
verlopen. Hierbij wordt onderscheid gemaakt tussen drie niveaus waarop verschillen kunnen
optreden, namelijk:
1. Verschillen in de realisaties/distributies van variabelen: een causaal effect van X op Y
kan verschillen tussen individuen en populaties omdat er een verschil is in de
waarde/verdeling van een of meerdere variabelen (W) die verschillen in het causale
, effect teweegbrengt (wanneer W een hoger gemiddelde heeft in populatie B dan in
populatie A, zal het effect van een interventie op X groter zijn in B dan in A);
2. Verschillen in parameters die geassocieerd zijn met variabelen die een rol spelen in de
causale mechanismen die de belangrijkste effecten bepalen: X kan causaal relevant
zijn voor Y in twee populaties, maar de specifieke manier waarop X relevant is voor Y
kan verschillen tussen populaties;
3. De basisstructuur van de mechanismen die de betrokken effecten beheersen: X kan
causaal relevant zijn voor Y in populatie A, maar niet in populatie B omdat er in
populatie B geen causaal pad is dat X en Y verbindt.
Succesvolle extrapolatie hangt dus af van overeenkomsten en verschillen tussen populaties op
verschillende niveaus en het is noodzakelijk om rekening te houden met verschillen op één
van de niveaus. Daarnaast mag de cirkel van de extrapolator niet zo uitgebreid zijn dat het
causale effect enkel op basis van informatie kan worden geïdentificeerd, aangezien dit het
extrapoleren vanuit het experiment overbodig maakt (als men weet dat XZY in populatie
A en B voorkomt, is het overbodig om te extrapoleren uit A aangezien men uit informatie
over alleen B al kan afleiden dat X in B zorgt voor Y). Het is bij extrapolatie dus van belang
dat informatie op zichzelf geen identificatie van het belangrijkste effect is.
3. Extrapolatie in de econometrie
Interactieve en op covariaten gebaseerde strategieën voor extrapolatie erkennen dat er
belangrijke verschillen zijn tussen experimentele- en doelpopulaties. Om deze verschillen te
overwinnen wordt gericht op het eerste niveau: verschillen in de verdelingen van interactieve
covariaten (variabele(n) W kan leiden tot verschillen in causale effecten tussen individuen en
populaties). Rekening houden met deze verschillen tussen individuen en populaties gebeurt in
twee stappen, namelijk (1) het identificeren van een causaal effect in een experimentele
populatie als een conditioneel gemiddeld behandelingseffect (geschat op basis van de
verdeling van interactieve covariaten) en, (2) het opnieuw wegen van een conditioneel
gemiddeld behandelingseffect volgens de waargenomen verdeling van interactieve covariaten
in de doelpopulatie. Het in populatie A (experiment) verkregen gemiddelde wordt dus
opnieuw gewogen aan de hand van de waargenomen verdeling van een variabele in populatie
B (doelpopulatie).
Volgens Khosrowi houden interactieve en op covariaten gebaseerde strategieën zich echter
alleen bezig met het eerste niveau waarop causaal relevante verschillen tussen populaties
kunnen ontstaan. Het verantwoorden van deze verschillen is volgens hem alleen zinvol als er
op andere niveaus geen relevante verschillen bestaan tussen populaties. Zo kan S bijvoorbeeld
positief relevant zijn voor het effect van X op Y, maar aanpassing voor verschillen in S heeft
alleen zin als men er zeker van is dat de populaties op geen van de andere niveaus van elkaar
verschillen (vooral niet met betrekking tot de vraag óf of hóe S betrokken is bij het
belangrijkste effect). Populaties verschillen volgens Khosrowi vaak in de structurele opbouw,
omdat kenmerken (zoals instellingen, normen en psychologische kenmerken) van elkaar
verschillen.
Om te bekijken of experimentele- en doelpopulaties vergelijkbaar zijn qua basisstructuur van
causale mechanismen, is het van belang om iets te weten te komen over mechanismen in
beide populaties. Stel dat een mechanisme in de experimentele populatie wordt gezien als
XZY, dan moet men er zeker van zijn dat het mechanisme in de doelpopulatie
