Samenvatting Academic
Research in Accounting (ARIA)
1 VALIDITEITSBEGRIPPEN
1.1 EXTERNE VALIDITEIT
Definitie externe validiteit: The extent to which the results hold (= stand houden) over variations in
persons, settings, treatments and outcomes (i.e. generalizability of results).
In andere woorden: de externe validiteit kijkt naar hoe we de uitkomsten van het artikel kunnen
gerenaliseren naar andere settings, persons, omstandigheden. Dit wordt ook wel genoemd ‘de
generaliseerbaarheid van de resultaten’.
1.1.1 Welke zaken kun je op letten?
Sample / units:
- Aard van de deelnemers (kun je de gehanteerde units koppelen aan de populatie die je
uiteindelijk wilt meten?);
- Soort bedrijven
- Grootte van de sample. Praat hierbij in relatieve termen (hoe kleiner de sample, hoe kleiner
de kans dat deze representatief is.
- Methodiek van de sample: zorgt dit bv voor een non-response bias/ zelfselectie
Non-response bias = doet zich voor als mensen die een enquête invullen verschillen van degenen die
dat niet deden op manieren die relevant zijn voor het onderzoeksonderwerp. Non-respons kan het
gevolg zijn van het feit dat mensen niet in staat zijn of niet bereid zijn deel te nemen aan het
onderzoek.
Setting van het onderzoek
- Specifieke periode
- Specifieke cultuur
- Omstandigheden waarin een experiment is uitgevoerd/ survey afgenomen
Generaliseerbaarheid van de theoretische onderbouwing
- Indien er bv. sprake is van een centrale theorie, dan kun je dit ook koppelen aan externe
validiteit. Want een centrale theorie kun je dus ook generaliseren naar andere vakgebieden.
Denk aan evolutietheorie: die ziet ook toe op hoe accountants zich gedragen, maar ook hoe
dokters zich gedragen etc.
1.1.2 Hoe toepassen op de toets:
Tijdens het tentamen moet je niet alleen de specifieke setting (bv) noemen, maar ook waarom dit
ervoor zorgt dat hij niet representatief is. Stel, je betrekt grotere bedrijven in de steekproef, waarom
zou je dit wel/ niet kunnen koppelen aan kleinere bedrijven?
,1.1.3 Validity trade-off:
Er zijn een aantal duidelijke trade-offs met externe validiteit:
Construct validiteit en externe validiteit – hoe breder je het onderzoek op gaat zetten, hoe
beter voor de externe validiteit. Maar, hierdoor ontstaat meer ruis, wat slechter is voor je
construct validiteit.
a. VB: Experiment kan je inrichten naar hoe je het precies wil, dus concept kan je
goed meten (construct derhalve hoog en interne validiteit omdat je alle mogelijke
alternatieve factoren kan uitsluiten). Wel beperkt generaliseerbaar doordat je maar
een bepaald iets hebt gezien, wellicht ook niet representatief voor werkelijkheid
(beperkte externe validiteit).
b. Keuze voor bepaalde sectoren waar de veronderstelde relaties waarschijnlijk zullen
voordoen -> (+) Construct validiteit en (-/-) externe validiteit
Interne validiteit en externe validiteit - Bestaande gevestigde theorie kan interne validiteit
(logisch) en externe validiteit (andere setting toetsen dan voorgaand onderzoek) versterken
1.2 INTERNE VALIDITEIT
Definitie interne validiteit: the extent to which inferences about observed covariation between A
(independent concept) and B (dependent concept) reflect a causal relationship from A to B.
Met andere woorden: interne validiteit verwijst naar de mate waarin je er zeker van kunt zijn dat
een oorzaak-gevolgrelatie die je observeert, echt bestaat en niet wordt beïnvloed door externe
factoren. Ofwel, als een onderzoek hoge interne validiteit heeft, kun je met vertrouwen zeggen dat
veranderingen in het onafhankelijke concept (A) de oorzaak zijn van veranderingen in het
afhankelijke concept (B), zonder dat er sprake is van verwarring door andere variabelen.
1.2.1 Waar kun je allemaal op letten bij de interne validiteit?
Use of Theory
- Wordt er gebruik gemaakt van een centrale theorie waar de hypotheses uit voort komen?
o Let op; hierbij kunnen auteurs je ook een beetje voor de gek houden. Auteurs
kunnen wel een theorie benoemen, maar is deze wel relevant en volgen hier ook
daadwerkelijk hypotheses uit?
Causality versus correlation
Bij een correlatie is er sprake van een statistisch verband, echter kan het zijn dat er onderliggende
variabelen zijn die de relatie nog beïnvloeden.
Het aantal mensen dat verdrinkt en de verkoop van ijs zijn gecorreleerd, omdat beide in de zomer
toenemen. Maar ijsverkoop veroorzaakt geen verdrinkingen; er is een onderliggende variabele (het
warme weer) die beide beïnvloedt.
Bij een causaliteit kun je aantonen dat de ene variabele de oorzaak is van een verandering van een
andere variabele. Uiteindelijk streef je dus naar een causaal verband. Je wilt daarom je best doen om
dit aan te tonen in je onderzoek.
- Wordt er duidelijk uitgelegd dat er sprake is van een oorzaak-gevolg verband? Hoewel vaak
niet direct aantoonbaar is binnen accountancy studies, dienen de onderzoekers dit verband
(lees: hypotheses) op een logische manier uit te leggen. Hierbij moet gebruik gemaakt
worden van eerder onderzoek en logische argumenten.
- Dit punt is goed te koppelen aan de reciprocal relationships en confouders, zie hieronder.
, Reciprocal relationships
- Er moet sprake zijn van een unidirectionele relatie. De onderzoekers onderzoeken de relatie
van A naar B. Op het tentamen dien je te kijken of er ook een mogelijkheid is dat de relatie
van B naar A gaat. Dit heet een reciprocal relationship. Indien dit er is, en de auteurs lichten
dit niet verder toe, is dit een slecht punt voor de interne validiteit.
Confounding factor/ Correlated omitted variables
Confounding factors zijn variabelen die het verband tussen de onderzochte variabelen kunnen
beïnvloeden of verstoren. Om uit te gaan van een causaal verband, moet duidelijk worden
gerechtvaardigd dat het conceptuele model rekening houdt met de belangrijkste alternatieve
verklaringen voor het beoogde effect (= controlevariabelen) en dat de kans op relevante
ontbrekende concepten (confounding factors) zo klein mogelijk is.
Confounding factors = niet correct uitsplitsen van de invloed van een derde variabele die zowel de
onafhankelijke als afhankelijke variabele beïnvloedt
Endogeniteit = meer structureel probleem, waarbij de afhankelijkheid van variabelen veroorzaakt
wordt door wederzijdse causaliteit of het ontbreken van een belangrijke variabele die beide
onderzochte variabelen beïnvloedt.
- De hoeveelheid controlevariabelen zegt iets over de correlated omitted variables (COV).
Even op basis van relatieve termen: Hoe meer controlevariabelen, hoe kleiner de kans op
COV, hoe hoger de validiteit.
- Daarnaast kun je ook kijken naar de Adjusted R2. Hoe hoger de adjusted R2, hoe kleiner de
kans op COV, hoe hoger de validiteit.
- Zelf nadenken: als ik nu kijk, mis ik nu een belangrijke variabele die nu niet is meegenomen
in het conceptuele model?
Adjusted R2 = een cijfer dat aangeeft hoeveel van de variantie in een regressietabel is verklaard.
Met variatie wordt bedoeld de verschillen in de afhankelijke variabele. In hoeverre worden deze
varianties verklaard? Vb. resultaten van bedrijven. D.m.v. onafhankelijke variabelen (bijv
tevredenheid van medewerkers, locatie van het kantoor etc.) wil je voorspellen waarom
bedrijfsresultaten verschillen t.o.v. elkaar. Als je Adjusted R2 dus heel laag is, is er dus nog veel
variatie wat niet verklaard is. Er zijn dus nog andere factoren die de bedrijfsresultaten beinvloeden,
die niet zijn meegenomen in de toets. Dit is dus slecht voor je IV.
Vuistregel adjusted R2:
o Adjusted R2 van 0,20 wordt als hoog gezien
o Lager dan 0,2 is juist weer laag.
Waarom ‘adjusted’?
o Je kunt je reguliere R2 omhoog gooien door allemaal extra variabelen erin te gooien,
terwijl de Adjusted R2 een soort strafpunten geeft voor de hoeveelheid variabelen
in je model. Je wilt dus in het artikel zien dat er gebruik wordt gemaakt van Adjusted
variant. Indien dit niet wordt gedaan, is dit een slecht punt. Dit kun je benoemen
nadat je de uitkomst van de reguliere R2 hebt benoemd.
Ten minste 1 hypothese moet significant zijn
1.3 CONSTRUCT VALIDITEIT
Definitie construct validiteit: the extent to which the operationalization of units, treatments,
observations and settings captures the higher order constructs (match between conceptual level and
operational level).
Research in Accounting (ARIA)
1 VALIDITEITSBEGRIPPEN
1.1 EXTERNE VALIDITEIT
Definitie externe validiteit: The extent to which the results hold (= stand houden) over variations in
persons, settings, treatments and outcomes (i.e. generalizability of results).
In andere woorden: de externe validiteit kijkt naar hoe we de uitkomsten van het artikel kunnen
gerenaliseren naar andere settings, persons, omstandigheden. Dit wordt ook wel genoemd ‘de
generaliseerbaarheid van de resultaten’.
1.1.1 Welke zaken kun je op letten?
Sample / units:
- Aard van de deelnemers (kun je de gehanteerde units koppelen aan de populatie die je
uiteindelijk wilt meten?);
- Soort bedrijven
- Grootte van de sample. Praat hierbij in relatieve termen (hoe kleiner de sample, hoe kleiner
de kans dat deze representatief is.
- Methodiek van de sample: zorgt dit bv voor een non-response bias/ zelfselectie
Non-response bias = doet zich voor als mensen die een enquête invullen verschillen van degenen die
dat niet deden op manieren die relevant zijn voor het onderzoeksonderwerp. Non-respons kan het
gevolg zijn van het feit dat mensen niet in staat zijn of niet bereid zijn deel te nemen aan het
onderzoek.
Setting van het onderzoek
- Specifieke periode
- Specifieke cultuur
- Omstandigheden waarin een experiment is uitgevoerd/ survey afgenomen
Generaliseerbaarheid van de theoretische onderbouwing
- Indien er bv. sprake is van een centrale theorie, dan kun je dit ook koppelen aan externe
validiteit. Want een centrale theorie kun je dus ook generaliseren naar andere vakgebieden.
Denk aan evolutietheorie: die ziet ook toe op hoe accountants zich gedragen, maar ook hoe
dokters zich gedragen etc.
1.1.2 Hoe toepassen op de toets:
Tijdens het tentamen moet je niet alleen de specifieke setting (bv) noemen, maar ook waarom dit
ervoor zorgt dat hij niet representatief is. Stel, je betrekt grotere bedrijven in de steekproef, waarom
zou je dit wel/ niet kunnen koppelen aan kleinere bedrijven?
,1.1.3 Validity trade-off:
Er zijn een aantal duidelijke trade-offs met externe validiteit:
Construct validiteit en externe validiteit – hoe breder je het onderzoek op gaat zetten, hoe
beter voor de externe validiteit. Maar, hierdoor ontstaat meer ruis, wat slechter is voor je
construct validiteit.
a. VB: Experiment kan je inrichten naar hoe je het precies wil, dus concept kan je
goed meten (construct derhalve hoog en interne validiteit omdat je alle mogelijke
alternatieve factoren kan uitsluiten). Wel beperkt generaliseerbaar doordat je maar
een bepaald iets hebt gezien, wellicht ook niet representatief voor werkelijkheid
(beperkte externe validiteit).
b. Keuze voor bepaalde sectoren waar de veronderstelde relaties waarschijnlijk zullen
voordoen -> (+) Construct validiteit en (-/-) externe validiteit
Interne validiteit en externe validiteit - Bestaande gevestigde theorie kan interne validiteit
(logisch) en externe validiteit (andere setting toetsen dan voorgaand onderzoek) versterken
1.2 INTERNE VALIDITEIT
Definitie interne validiteit: the extent to which inferences about observed covariation between A
(independent concept) and B (dependent concept) reflect a causal relationship from A to B.
Met andere woorden: interne validiteit verwijst naar de mate waarin je er zeker van kunt zijn dat
een oorzaak-gevolgrelatie die je observeert, echt bestaat en niet wordt beïnvloed door externe
factoren. Ofwel, als een onderzoek hoge interne validiteit heeft, kun je met vertrouwen zeggen dat
veranderingen in het onafhankelijke concept (A) de oorzaak zijn van veranderingen in het
afhankelijke concept (B), zonder dat er sprake is van verwarring door andere variabelen.
1.2.1 Waar kun je allemaal op letten bij de interne validiteit?
Use of Theory
- Wordt er gebruik gemaakt van een centrale theorie waar de hypotheses uit voort komen?
o Let op; hierbij kunnen auteurs je ook een beetje voor de gek houden. Auteurs
kunnen wel een theorie benoemen, maar is deze wel relevant en volgen hier ook
daadwerkelijk hypotheses uit?
Causality versus correlation
Bij een correlatie is er sprake van een statistisch verband, echter kan het zijn dat er onderliggende
variabelen zijn die de relatie nog beïnvloeden.
Het aantal mensen dat verdrinkt en de verkoop van ijs zijn gecorreleerd, omdat beide in de zomer
toenemen. Maar ijsverkoop veroorzaakt geen verdrinkingen; er is een onderliggende variabele (het
warme weer) die beide beïnvloedt.
Bij een causaliteit kun je aantonen dat de ene variabele de oorzaak is van een verandering van een
andere variabele. Uiteindelijk streef je dus naar een causaal verband. Je wilt daarom je best doen om
dit aan te tonen in je onderzoek.
- Wordt er duidelijk uitgelegd dat er sprake is van een oorzaak-gevolg verband? Hoewel vaak
niet direct aantoonbaar is binnen accountancy studies, dienen de onderzoekers dit verband
(lees: hypotheses) op een logische manier uit te leggen. Hierbij moet gebruik gemaakt
worden van eerder onderzoek en logische argumenten.
- Dit punt is goed te koppelen aan de reciprocal relationships en confouders, zie hieronder.
, Reciprocal relationships
- Er moet sprake zijn van een unidirectionele relatie. De onderzoekers onderzoeken de relatie
van A naar B. Op het tentamen dien je te kijken of er ook een mogelijkheid is dat de relatie
van B naar A gaat. Dit heet een reciprocal relationship. Indien dit er is, en de auteurs lichten
dit niet verder toe, is dit een slecht punt voor de interne validiteit.
Confounding factor/ Correlated omitted variables
Confounding factors zijn variabelen die het verband tussen de onderzochte variabelen kunnen
beïnvloeden of verstoren. Om uit te gaan van een causaal verband, moet duidelijk worden
gerechtvaardigd dat het conceptuele model rekening houdt met de belangrijkste alternatieve
verklaringen voor het beoogde effect (= controlevariabelen) en dat de kans op relevante
ontbrekende concepten (confounding factors) zo klein mogelijk is.
Confounding factors = niet correct uitsplitsen van de invloed van een derde variabele die zowel de
onafhankelijke als afhankelijke variabele beïnvloedt
Endogeniteit = meer structureel probleem, waarbij de afhankelijkheid van variabelen veroorzaakt
wordt door wederzijdse causaliteit of het ontbreken van een belangrijke variabele die beide
onderzochte variabelen beïnvloedt.
- De hoeveelheid controlevariabelen zegt iets over de correlated omitted variables (COV).
Even op basis van relatieve termen: Hoe meer controlevariabelen, hoe kleiner de kans op
COV, hoe hoger de validiteit.
- Daarnaast kun je ook kijken naar de Adjusted R2. Hoe hoger de adjusted R2, hoe kleiner de
kans op COV, hoe hoger de validiteit.
- Zelf nadenken: als ik nu kijk, mis ik nu een belangrijke variabele die nu niet is meegenomen
in het conceptuele model?
Adjusted R2 = een cijfer dat aangeeft hoeveel van de variantie in een regressietabel is verklaard.
Met variatie wordt bedoeld de verschillen in de afhankelijke variabele. In hoeverre worden deze
varianties verklaard? Vb. resultaten van bedrijven. D.m.v. onafhankelijke variabelen (bijv
tevredenheid van medewerkers, locatie van het kantoor etc.) wil je voorspellen waarom
bedrijfsresultaten verschillen t.o.v. elkaar. Als je Adjusted R2 dus heel laag is, is er dus nog veel
variatie wat niet verklaard is. Er zijn dus nog andere factoren die de bedrijfsresultaten beinvloeden,
die niet zijn meegenomen in de toets. Dit is dus slecht voor je IV.
Vuistregel adjusted R2:
o Adjusted R2 van 0,20 wordt als hoog gezien
o Lager dan 0,2 is juist weer laag.
Waarom ‘adjusted’?
o Je kunt je reguliere R2 omhoog gooien door allemaal extra variabelen erin te gooien,
terwijl de Adjusted R2 een soort strafpunten geeft voor de hoeveelheid variabelen
in je model. Je wilt dus in het artikel zien dat er gebruik wordt gemaakt van Adjusted
variant. Indien dit niet wordt gedaan, is dit een slecht punt. Dit kun je benoemen
nadat je de uitkomst van de reguliere R2 hebt benoemd.
Ten minste 1 hypothese moet significant zijn
1.3 CONSTRUCT VALIDITEIT
Definitie construct validiteit: the extent to which the operationalization of units, treatments,
observations and settings captures the higher order constructs (match between conceptual level and
operational level).
