Samenvatting ARIA
Validiteit
INTERNE VALIDITEIT
“the extent to which inferences about observed covariation between A (independent variable) and B
(dependent variable) reflect a causal relationship from A to B”
De mate waarin conclusies over de waargenomen samenhang tussen A (onafhankelijke variabele) en B
(afhankelijke variabele) een causaal verband van A naar B weerspiegelen
Interne validiteit zie je meestal terug bij A&A papers discussie over oorzakelijk verband (causaliteit).
Causaliteit wil zeggen dat er sprake is van een oorzakelijk verband (hoe meer uren zon, hoe meer naar
buiten). Voorwaarden voor causaliteit:
- Correlatie: je moet het statistisch kunnen meten (independent dependent)
- Plausibiliteit (non-spuriousness): als iets logisch is. Spurious wil zeggen dat er wel een statistisch
verband is, maar het verband is absoluut niet plausibel.
- Richting: deze moet bekend zijn en hiermee de volgordelijkheid, dit is de pijl tussen independent
en dependent.
- Theoretische justificatie: zie hieronder bij [toelichting interne validiteit]
In het geval van correlatie kan er wel een statistisch verband worden vastgesteld, maar is er hoeft geen
sprake te zijn van causaliteit, het beweegt dus statistisch met elkaar mee, maar het verband is niet direct
plausibel.
Let op: bij archival data is causaliteit altijd lastiger vast te stellen.
In het negenstappenmodel wordt er onderscheid gemaakt tussen:
- Literatuuronderzoek: primair gericht op het inventariseren van de huidige stand van kennis en
inzichten
- Literatuursynthese: gaat verder dan literatuurstudie, gaat om het creëren van nieuwe kennis en
inzichten op basis van bestaande literatuur.
Verder is het t.a.v. interne validiteit van belang dat de afhankelijke variabele niet wordt gedreven door
alternatieve verklaringen. Er moet dus een duidelijke verantwoording zijn dat er rekening is gehouden
met de belangrijkste alternatieve verklaringen voor het beoogde verband (control concepts) en de kans
op relevante ontbrekenden concepten (confounding factors) moet zo klein mogelijk zijn.
Let op endogeniteit (‘omitted variable problem’): in dit geval worden zowel de afhankelijke variabele als
de onafhankelijke variabele gedreven door een weggelaten (omitted) variabele.
Verschil omitted variable en confounding variable:
- Een omitted variable is een variabele die niet is opgenomen in een statistische analyse, meestal
als onafhankelijke variabele, terwijl deze wel een relevante invloed heeft op de afhankelijke
variabele.
- Een confounding variable is een variabele die aanwezig is in de analyse en die zowel de
onafhankelijke als de afhankelijke variabele beïnvloed, waardoor de relatie tussen deze twee
variabelen kan worden vertekend/verward.
Management probleem
Elk onderzoek start met een reden. Als een onderzoek gesponsord wordt door een bepaalde partij wordt
dit vaak weergegeven in de voetnoot, het is van belang om hier ook aandacht aan te geven.
Soms is er géén management probleem, maar een macro-economisch/ maatschappelijk probleem. De
theorie (interne validiteit) wordt dan ook vaak ‘wide window’ toegepast, dit wil zeggen: breed inzetbaar/
in brede zin toegepast. Het gevolg voor de interne validiteit is dat deze minder sterk is.
1 | nieuwe perspectieven
,TOELICHTING INTERNE VALIDITEIT – WAAR MOET NAAR GEKEKEN WORDEN?
- Theorie: wat is het theoretisch onderbouwd oorzakelijk verband. Theorie is niet direct andere
literatuur, theorie is gebaseerd op oude literatuur en geaccepteerd. Denk hierbij aan bijvoorbeeld
de agency theorie.
o Is er vanuit meerdere invalshoeken gekeken? (niet alleen maar 1 theorie, of uit ander
vakgebied)
o Is deze theorie betrouwbaar? (geaccepteerd?)
o Is deze theorie bruikbaar voor de gelegde relatie
- Plausibiliteit
o Zijn de verbanden logisch?
- Current state of literature: er wordt al vaker met de theorie gewerkt, de theorie is in aanbouw.
Er is dus al sprake van vergelijkingsmateriaal, aan de hand van de current state of literature
wordt uiteindelijk gewerkt aan een nieuwe theorie.
- Wet- en regelgeving
Hypothesen:
- De diepgang van de ontwikkeling van hypotheses
- Duidelijke richting gekozen in het model?
- Is de richting goed onderbouwd?
Doorgaans wordt de theorie dus verder onderbouwd aan de hand van andere onderbouwende literatuur
(current state of literature) of wet- en regelgeving welke aan het managementprobleem ten grondslag
ligt. Als er maar één theorie aan de paper ten grondslag ligt, heb je vaak te maken met plausibiliteit. Om
deze plausibiliteit meer kracht bij te zetten wordt er vaak wet- en regelgeving bij getrokken.
In het geval er een theorie vanuit een ander vakgebied wordt toegepast is het belangrijk om na te gaan of
deze theorieën als eens eerder in het huidige vakgebied zijn toegepast. Je dient ook vast te stellen of de
theorieën breed geaccepteerd zijn.
Doorgetrokken pijl tussen de twee variabelen = causaliteit (99% van de gevallen)
Stippellijn tussen twee variabelen = wel correlatie maar (nog) geen causaliteit (experimenteel)
Theorieën in accounting onderzoek
Institutionele theorie
(organisatie/socio theorie):
richt op de rol van instituties in
het vormgeven van het gedrag
van individuen of organisaties.
Instituties worden hier
begrepen als regels, normen,
waarden en formele structuren
die het gedrag van actoren in
een bepaalde samenleving of
organisatie beïnvloeden.
RELEVANTE ELEMENTEN BIJ
HET BEOORDELEN VAN INTERNE VALIDITEIT
- Toepassing van theoretisch modellen (+)
- Theorie uit ander vakgebied? beargumenteren waarom deze van toepassing is binnen ‘ons’
vakgebied, hier komt een stuk logica/ plausibiliteit naar voren (+)
- Opnemen van controlevariabelen die ook gebruikt zijn in eerder onderzoek (+)
- Opletten op wederkerige relaties en endogeneity (hierbij zijn zowel de afhankelijke als
onafhankelijke variabele afhankelijk van een niet opgenomen variabele)
- Moderator: beïnvloedt de richting en de sterkte van het verband let op: er mag nooit een
causaal verband ontstaan
- Mediator: staat tussen de onafhankelijke en afhankelijke variabele in (tussenstap) en wordt
beïnvloedt door de onafhankelijke variabele
CONSTRUCT VALIDITEIT
“the extent to which the operationalization of units, treatments, observations and settings captures the
higher order constructs (match between conceptual level and operational level)”
De mate waarin de operationalisatie van units, treatments, observations en settings de constructen van
hogere orde omvat (overeenstemming tussen conceptueel model en operationeel model)
2 | nieuwe perspectieven
,Construct validiteit zie je vaak terug bij BIV papers discussie over UTOS, wordt er gemeten wat er
gemeten moet worden?
TOELICHTING CONSTRUCTVALIDITEIT – WAAR MOET NAAR GEKEKEN WORDEN?
De constructvaliditeit wordt vanuit het negen stappenplan toegelicht aan de hand van UTOS:
Units = onderzoeksobject (denk aan bedrijven)
Toelichting Nyenrode Nine Step Guide: “This concerns the research subjects studied or: the ‘unit of
analysis’. The research subjects can be participants or groups, such as, audit partners, audit teams,
departments, companies, accounting firms for specific periods, countries, institutions, etc. The ‘unit of
analysis’ indicates the level of the research subject: individual participants or groups (higher level units,
like firms, countries etc.)”
Bij units is het van belang of het de doelgroep is die je wil hebben in het kader van je onderzoek
Treatments = manipulatie
Toelichting Nyenrode Nine Step Guide: “Intentional manipulation (cause) by the researcher to cause the
differences in behavior (effect) between units. Quasi-treatment occurs in a non-experimental setting,
such as in case of archival data, when the effects of variation in timing of effects between treatment and
control groups are measured.”
Een moderator is een statistische variabele (Z) die de relatie X Y
tussen twee andere variabelen (X en Y) verandert. Indien het Independent Dependent variable
variable (IV) (DV)
verband tussen twee variabelen X en Y wordt beïnvloed door
de karakteristieken van een andere variabele Z, wordt deze
laatste als moderator beschouwd.
Z
Een moderator mag niet het causale gevolg zijn van de X (IV). Moderator
Een moderator is een soort knop om aan te draaien en wordt
gebruikt in een treatment (interactie-effect), dit is bijvoorbeeld vóór en na implementatie van IFRS/SoX.
Vaak wordt in onderzoeken een pseudo-treatment gebruikt, hiermee maak je enkel een vergelijking in
de tijd (altijd tijdsgebonden), bijvoorbeeld vóór en na de implementatie van een programma/ software.
Let op: in papers wordt dit ook wel eens het interactie/interaction effect genoemd.
Er kan ook nog sprake zijn van een mediator (komt niet
X Y
vaak voor), dit is een statistische variabele die de relatie Independent Dependent variable
tussen twee andere variabelen verklaart. Een mediator is variable (IV) (DV)
het causale resultaat van de X en het causale antecedent
van Y. Bijvoorbeeld: X = uren sportschool, Y = sixpack
(positief verband). Hoe meer je traint, hoe meer eetlust
(mediator), hoe meer eetlust je krijgt, hoe ‘slechter’ voor je Mediator
sixpack. Hier is dus sprake van een negatief verband. Een
mediator is dus een factor die de relatie tussen X en Y gaat
beïnvloeden, in plaats van een moderator komt er dus een neveneffect bij (zie ook artikel van Adnan
2018).
Kortom:
- Moderator: beïnvloed relatie tussen twee variabelen
- Mediator: variabele die relatie tussen twee andere verklaart
Als er géén treatment is kan je dit als volgt toelichten op het tentamen: “Er is hier geen sprake van een
treatment, de relatie tussen de independent en dependent variabele wordt niet beïnvloed, er is dus géén
sprake van een moderator of interactie.”
Als er sprake is van een wide window (bij macro-economische/ maatschappelijk probleem) kun je nergens
aan draaien.
Observations = observatie van de units (denk aan jaarrekeningen van bedrijven)
Toelichting Nyenrode Nine Step Guide: “This concerns the method how the behavior of the units is
observed and the quality of the observation. Observations can be made by using response scales, audio
and video recordings, data from actual annual accounts, log files, etc. Also part of observations is the
3 | nieuwe perspectieven
, quality of standardization of values to increase comparability, e.g. profitability by deflating net profit by
revenues.”
In het geval van een interview is er te spreken van een tekortkoming als er sprake is van een schriftelijke
vastlegging van het interview. Het komt de constructvaliditeit ten goede als er ook triangulatie wordt
toegepast en als het interview bijvoorbeeld is opgenomen en achteraf is geanalyseerd.
Triangulatie: je doet interviews met personen, hierbij kun je een derde persoon betrekken (bijvoorbeeld
een vakspecialist) en deze persoon de interviews laten controleren.
Bij observaties benoem je ook de database.
Setting = context
Toelichting Nyenrode Nine Step Guide: “This concerns the context and circumstances in which the
observations were made. This may concern: specific conditions, such as the room in which an experiment
is being conducted, group meetings or taking via the internet; specific conditions with regard to primary
(surveys) and secondary sources (archival) of information, such as selection of type of organizations,
branches, periods, size of companies, etc.
Hierbij is het van belang om te bedenken of het wel het juiste moment/ context/ mindset is om het
onderzoek af te nemen.
RELEVANTE ELEMENTEN BIJ HET BEOORDELEN VAN CONSTRUCT VALIDITEIT
- Toepassing triangulatie bij een interview (+)
- Er wordt meta-data bijgehouden bij een interview (+)
- Er is sprake van een longitude onderzoek (+)
STATISTISCHE VALIDITEIT
“The appropriate use of statistics to test the hypotheses”
Het juiste gebruik van statistische methoden om de hypothesen te testen.
KWALITEIT DATA
Hier wordt ingegaan op de database, of in het geval van interviews op welke manier de interviews zijn
afgenomen (wordt er gebruik gemaakt van transcriptie/ coderen)
Het is goed als er veel databases worden gebruikt, echter kan er ook een overkill ontstaan wanneer je
gaat samenvoegen. Je hebt dan historische data en de vraag is of deze dan nog wel goed is voor je
onderzoek en of je nog wel aan het meten bent met de data die je moet hebben (nieuw onderzoek van
onze presentatie).
Bij kwalitatieve papers kun je naast het doen van interviews ook een documentanalyse uitvoeren, naast
de gehouden interviews worden er in dat geval diverse documenten zoals managementnotities en e-mails
erbij gehaald om de kwaliteit van de data te versterken (zie onderzoeksmethodologie papers).
Meta-data: data over de data, bijvoorbeeld de feiten over gebeurtenissen tijdens een interview (hoe
vaak zit iemand aan gezicht/ hoe vaak zegt iemand ‘uh’)
De kwaliteit van de data hoort thuis bij de statistische validiteit. Echter soms ook bij interne validiteit, de
vraag is dan of je wel de juiste data hebt om causaliteit vast te stellen, denk hierbij aan een archival
database, is het wel ‘fit for us’? Oplossing is het pakken van meerdere databases (maar let op: ook weer
niet teveel, risico op overkill).
RELEVANTE ELEMENTEN BIJ HET BEOORDELEN VAN KWALITEIT DATA
- Datakwaliteit: > 10 observaties per variabelen en totaal > 30 observaties (+)
- Het interview wordt getranscribeerd en gecodeerd (+)
- Er wordt een documentanalyse uitgevoerd (+)
- Er worden slechts weinig personen geïnterviewd (-)
- Er wordt alleen gekeken naar interne documenten in de documentanalyse (-)
- Longitudinale inrichting van het onderzoek (+)
- Overkill databases (-)
STATISTISCHE ANALYSES
4 | nieuwe perspectieven
Validiteit
INTERNE VALIDITEIT
“the extent to which inferences about observed covariation between A (independent variable) and B
(dependent variable) reflect a causal relationship from A to B”
De mate waarin conclusies over de waargenomen samenhang tussen A (onafhankelijke variabele) en B
(afhankelijke variabele) een causaal verband van A naar B weerspiegelen
Interne validiteit zie je meestal terug bij A&A papers discussie over oorzakelijk verband (causaliteit).
Causaliteit wil zeggen dat er sprake is van een oorzakelijk verband (hoe meer uren zon, hoe meer naar
buiten). Voorwaarden voor causaliteit:
- Correlatie: je moet het statistisch kunnen meten (independent dependent)
- Plausibiliteit (non-spuriousness): als iets logisch is. Spurious wil zeggen dat er wel een statistisch
verband is, maar het verband is absoluut niet plausibel.
- Richting: deze moet bekend zijn en hiermee de volgordelijkheid, dit is de pijl tussen independent
en dependent.
- Theoretische justificatie: zie hieronder bij [toelichting interne validiteit]
In het geval van correlatie kan er wel een statistisch verband worden vastgesteld, maar is er hoeft geen
sprake te zijn van causaliteit, het beweegt dus statistisch met elkaar mee, maar het verband is niet direct
plausibel.
Let op: bij archival data is causaliteit altijd lastiger vast te stellen.
In het negenstappenmodel wordt er onderscheid gemaakt tussen:
- Literatuuronderzoek: primair gericht op het inventariseren van de huidige stand van kennis en
inzichten
- Literatuursynthese: gaat verder dan literatuurstudie, gaat om het creëren van nieuwe kennis en
inzichten op basis van bestaande literatuur.
Verder is het t.a.v. interne validiteit van belang dat de afhankelijke variabele niet wordt gedreven door
alternatieve verklaringen. Er moet dus een duidelijke verantwoording zijn dat er rekening is gehouden
met de belangrijkste alternatieve verklaringen voor het beoogde verband (control concepts) en de kans
op relevante ontbrekenden concepten (confounding factors) moet zo klein mogelijk zijn.
Let op endogeniteit (‘omitted variable problem’): in dit geval worden zowel de afhankelijke variabele als
de onafhankelijke variabele gedreven door een weggelaten (omitted) variabele.
Verschil omitted variable en confounding variable:
- Een omitted variable is een variabele die niet is opgenomen in een statistische analyse, meestal
als onafhankelijke variabele, terwijl deze wel een relevante invloed heeft op de afhankelijke
variabele.
- Een confounding variable is een variabele die aanwezig is in de analyse en die zowel de
onafhankelijke als de afhankelijke variabele beïnvloed, waardoor de relatie tussen deze twee
variabelen kan worden vertekend/verward.
Management probleem
Elk onderzoek start met een reden. Als een onderzoek gesponsord wordt door een bepaalde partij wordt
dit vaak weergegeven in de voetnoot, het is van belang om hier ook aandacht aan te geven.
Soms is er géén management probleem, maar een macro-economisch/ maatschappelijk probleem. De
theorie (interne validiteit) wordt dan ook vaak ‘wide window’ toegepast, dit wil zeggen: breed inzetbaar/
in brede zin toegepast. Het gevolg voor de interne validiteit is dat deze minder sterk is.
1 | nieuwe perspectieven
,TOELICHTING INTERNE VALIDITEIT – WAAR MOET NAAR GEKEKEN WORDEN?
- Theorie: wat is het theoretisch onderbouwd oorzakelijk verband. Theorie is niet direct andere
literatuur, theorie is gebaseerd op oude literatuur en geaccepteerd. Denk hierbij aan bijvoorbeeld
de agency theorie.
o Is er vanuit meerdere invalshoeken gekeken? (niet alleen maar 1 theorie, of uit ander
vakgebied)
o Is deze theorie betrouwbaar? (geaccepteerd?)
o Is deze theorie bruikbaar voor de gelegde relatie
- Plausibiliteit
o Zijn de verbanden logisch?
- Current state of literature: er wordt al vaker met de theorie gewerkt, de theorie is in aanbouw.
Er is dus al sprake van vergelijkingsmateriaal, aan de hand van de current state of literature
wordt uiteindelijk gewerkt aan een nieuwe theorie.
- Wet- en regelgeving
Hypothesen:
- De diepgang van de ontwikkeling van hypotheses
- Duidelijke richting gekozen in het model?
- Is de richting goed onderbouwd?
Doorgaans wordt de theorie dus verder onderbouwd aan de hand van andere onderbouwende literatuur
(current state of literature) of wet- en regelgeving welke aan het managementprobleem ten grondslag
ligt. Als er maar één theorie aan de paper ten grondslag ligt, heb je vaak te maken met plausibiliteit. Om
deze plausibiliteit meer kracht bij te zetten wordt er vaak wet- en regelgeving bij getrokken.
In het geval er een theorie vanuit een ander vakgebied wordt toegepast is het belangrijk om na te gaan of
deze theorieën als eens eerder in het huidige vakgebied zijn toegepast. Je dient ook vast te stellen of de
theorieën breed geaccepteerd zijn.
Doorgetrokken pijl tussen de twee variabelen = causaliteit (99% van de gevallen)
Stippellijn tussen twee variabelen = wel correlatie maar (nog) geen causaliteit (experimenteel)
Theorieën in accounting onderzoek
Institutionele theorie
(organisatie/socio theorie):
richt op de rol van instituties in
het vormgeven van het gedrag
van individuen of organisaties.
Instituties worden hier
begrepen als regels, normen,
waarden en formele structuren
die het gedrag van actoren in
een bepaalde samenleving of
organisatie beïnvloeden.
RELEVANTE ELEMENTEN BIJ
HET BEOORDELEN VAN INTERNE VALIDITEIT
- Toepassing van theoretisch modellen (+)
- Theorie uit ander vakgebied? beargumenteren waarom deze van toepassing is binnen ‘ons’
vakgebied, hier komt een stuk logica/ plausibiliteit naar voren (+)
- Opnemen van controlevariabelen die ook gebruikt zijn in eerder onderzoek (+)
- Opletten op wederkerige relaties en endogeneity (hierbij zijn zowel de afhankelijke als
onafhankelijke variabele afhankelijk van een niet opgenomen variabele)
- Moderator: beïnvloedt de richting en de sterkte van het verband let op: er mag nooit een
causaal verband ontstaan
- Mediator: staat tussen de onafhankelijke en afhankelijke variabele in (tussenstap) en wordt
beïnvloedt door de onafhankelijke variabele
CONSTRUCT VALIDITEIT
“the extent to which the operationalization of units, treatments, observations and settings captures the
higher order constructs (match between conceptual level and operational level)”
De mate waarin de operationalisatie van units, treatments, observations en settings de constructen van
hogere orde omvat (overeenstemming tussen conceptueel model en operationeel model)
2 | nieuwe perspectieven
,Construct validiteit zie je vaak terug bij BIV papers discussie over UTOS, wordt er gemeten wat er
gemeten moet worden?
TOELICHTING CONSTRUCTVALIDITEIT – WAAR MOET NAAR GEKEKEN WORDEN?
De constructvaliditeit wordt vanuit het negen stappenplan toegelicht aan de hand van UTOS:
Units = onderzoeksobject (denk aan bedrijven)
Toelichting Nyenrode Nine Step Guide: “This concerns the research subjects studied or: the ‘unit of
analysis’. The research subjects can be participants or groups, such as, audit partners, audit teams,
departments, companies, accounting firms for specific periods, countries, institutions, etc. The ‘unit of
analysis’ indicates the level of the research subject: individual participants or groups (higher level units,
like firms, countries etc.)”
Bij units is het van belang of het de doelgroep is die je wil hebben in het kader van je onderzoek
Treatments = manipulatie
Toelichting Nyenrode Nine Step Guide: “Intentional manipulation (cause) by the researcher to cause the
differences in behavior (effect) between units. Quasi-treatment occurs in a non-experimental setting,
such as in case of archival data, when the effects of variation in timing of effects between treatment and
control groups are measured.”
Een moderator is een statistische variabele (Z) die de relatie X Y
tussen twee andere variabelen (X en Y) verandert. Indien het Independent Dependent variable
variable (IV) (DV)
verband tussen twee variabelen X en Y wordt beïnvloed door
de karakteristieken van een andere variabele Z, wordt deze
laatste als moderator beschouwd.
Z
Een moderator mag niet het causale gevolg zijn van de X (IV). Moderator
Een moderator is een soort knop om aan te draaien en wordt
gebruikt in een treatment (interactie-effect), dit is bijvoorbeeld vóór en na implementatie van IFRS/SoX.
Vaak wordt in onderzoeken een pseudo-treatment gebruikt, hiermee maak je enkel een vergelijking in
de tijd (altijd tijdsgebonden), bijvoorbeeld vóór en na de implementatie van een programma/ software.
Let op: in papers wordt dit ook wel eens het interactie/interaction effect genoemd.
Er kan ook nog sprake zijn van een mediator (komt niet
X Y
vaak voor), dit is een statistische variabele die de relatie Independent Dependent variable
tussen twee andere variabelen verklaart. Een mediator is variable (IV) (DV)
het causale resultaat van de X en het causale antecedent
van Y. Bijvoorbeeld: X = uren sportschool, Y = sixpack
(positief verband). Hoe meer je traint, hoe meer eetlust
(mediator), hoe meer eetlust je krijgt, hoe ‘slechter’ voor je Mediator
sixpack. Hier is dus sprake van een negatief verband. Een
mediator is dus een factor die de relatie tussen X en Y gaat
beïnvloeden, in plaats van een moderator komt er dus een neveneffect bij (zie ook artikel van Adnan
2018).
Kortom:
- Moderator: beïnvloed relatie tussen twee variabelen
- Mediator: variabele die relatie tussen twee andere verklaart
Als er géén treatment is kan je dit als volgt toelichten op het tentamen: “Er is hier geen sprake van een
treatment, de relatie tussen de independent en dependent variabele wordt niet beïnvloed, er is dus géén
sprake van een moderator of interactie.”
Als er sprake is van een wide window (bij macro-economische/ maatschappelijk probleem) kun je nergens
aan draaien.
Observations = observatie van de units (denk aan jaarrekeningen van bedrijven)
Toelichting Nyenrode Nine Step Guide: “This concerns the method how the behavior of the units is
observed and the quality of the observation. Observations can be made by using response scales, audio
and video recordings, data from actual annual accounts, log files, etc. Also part of observations is the
3 | nieuwe perspectieven
, quality of standardization of values to increase comparability, e.g. profitability by deflating net profit by
revenues.”
In het geval van een interview is er te spreken van een tekortkoming als er sprake is van een schriftelijke
vastlegging van het interview. Het komt de constructvaliditeit ten goede als er ook triangulatie wordt
toegepast en als het interview bijvoorbeeld is opgenomen en achteraf is geanalyseerd.
Triangulatie: je doet interviews met personen, hierbij kun je een derde persoon betrekken (bijvoorbeeld
een vakspecialist) en deze persoon de interviews laten controleren.
Bij observaties benoem je ook de database.
Setting = context
Toelichting Nyenrode Nine Step Guide: “This concerns the context and circumstances in which the
observations were made. This may concern: specific conditions, such as the room in which an experiment
is being conducted, group meetings or taking via the internet; specific conditions with regard to primary
(surveys) and secondary sources (archival) of information, such as selection of type of organizations,
branches, periods, size of companies, etc.
Hierbij is het van belang om te bedenken of het wel het juiste moment/ context/ mindset is om het
onderzoek af te nemen.
RELEVANTE ELEMENTEN BIJ HET BEOORDELEN VAN CONSTRUCT VALIDITEIT
- Toepassing triangulatie bij een interview (+)
- Er wordt meta-data bijgehouden bij een interview (+)
- Er is sprake van een longitude onderzoek (+)
STATISTISCHE VALIDITEIT
“The appropriate use of statistics to test the hypotheses”
Het juiste gebruik van statistische methoden om de hypothesen te testen.
KWALITEIT DATA
Hier wordt ingegaan op de database, of in het geval van interviews op welke manier de interviews zijn
afgenomen (wordt er gebruik gemaakt van transcriptie/ coderen)
Het is goed als er veel databases worden gebruikt, echter kan er ook een overkill ontstaan wanneer je
gaat samenvoegen. Je hebt dan historische data en de vraag is of deze dan nog wel goed is voor je
onderzoek en of je nog wel aan het meten bent met de data die je moet hebben (nieuw onderzoek van
onze presentatie).
Bij kwalitatieve papers kun je naast het doen van interviews ook een documentanalyse uitvoeren, naast
de gehouden interviews worden er in dat geval diverse documenten zoals managementnotities en e-mails
erbij gehaald om de kwaliteit van de data te versterken (zie onderzoeksmethodologie papers).
Meta-data: data over de data, bijvoorbeeld de feiten over gebeurtenissen tijdens een interview (hoe
vaak zit iemand aan gezicht/ hoe vaak zegt iemand ‘uh’)
De kwaliteit van de data hoort thuis bij de statistische validiteit. Echter soms ook bij interne validiteit, de
vraag is dan of je wel de juiste data hebt om causaliteit vast te stellen, denk hierbij aan een archival
database, is het wel ‘fit for us’? Oplossing is het pakken van meerdere databases (maar let op: ook weer
niet teveel, risico op overkill).
RELEVANTE ELEMENTEN BIJ HET BEOORDELEN VAN KWALITEIT DATA
- Datakwaliteit: > 10 observaties per variabelen en totaal > 30 observaties (+)
- Het interview wordt getranscribeerd en gecodeerd (+)
- Er wordt een documentanalyse uitgevoerd (+)
- Er worden slechts weinig personen geïnterviewd (-)
- Er wordt alleen gekeken naar interne documenten in de documentanalyse (-)
- Longitudinale inrichting van het onderzoek (+)
- Overkill databases (-)
STATISTISCHE ANALYSES
4 | nieuwe perspectieven
