Onderzoeksmethoden-
kwantitatief
Wat is goed bestuurskundig onderzoek?
De eigenheid van bestuurskundig onderzoek
Public Administration heeft interdisciplinair karakter: bouwt op inzichten uit de
rechten, de economie, de psychologie en de sociologie
Het centrale object is de publieke sector: overheid én semi-overheid
Zeer brede actieradius
Sommige onderzoekspopulaties zijn klein in aantal: er zijn maar een beperkt aantal
units om te bestuderen, daardoor is representativiteit en theorievorming vaak een
probleem.
Andere onderzoeksonderwerpen impliceren een veelheid van data
Bestuurskundig onderzoek is toegepast onderzoek: Bestuurskundig onderzoek is
toegepast onderzoek omdat de vraag vaak zelf uit het beleid voorkomt. Niet eerst
een theoretisch model ontwikkelen, maar gericht op oplossingen vinden voor
problemen van het beleidsvraagstuk
Onderzoek gebeurt niet in een labo-setting maar in real life omgevingis het moeilijk
causale verbanden blootleggen, de meeste onderzoeken zijn dan ook beschrijvend of
correlatief van aard. Een correlatie is niet hetzelfde als oorzaak-gevolg
Er zijn nog maar weinig eigen “grand theories” ontwikkeld in Public Administration
Voorbeelden van bestuurskundig onderzoek
Criteria van goed onderzoek
Het doel is duidelijk
De onderzoeksopzet en -procedures zijn helder beschreven
Het onderzoek is gericht op het bekomen van objectieve resultaten
De data zijn met geschikte methodieken geanalyseerd
De conclusies zijn beperkt tot de populatie waarvoor de steekproef representatief is
(mate van rapportering)
Het onderzoek erkent zijn limitaties
Goed onderzoek moet voldoen aan 3 toetsstenen:
Betrouwbaarheid
o Is de meting vrij van toevalsmatige fouten?
o Als ik de meting herhaal kom ik dan tot hetzelfde resultaat?
o D.m.v. datasets kan men controleren of de geraporteerde resultaten identiek
zouden zijn indien iemand anders die zou uitvoeren consistente resultaten
Validiteit
o Is de meting vrij van systematische fouten?
o Meet ik wat ik wil meten?
o Zijn de resultaten veralgemeenbaar?
1
, Ingebed zijn in een theoretisch model op basis waarvan relevante hypothesen
worden geformuleerd
Niet elk resultaat van een onderzoek is veralgemeenbaar. Een goed onderzoek is daar eerlijk
in. Een goed onderzoeker is integer en eerlijk.
Soorten betrouwbaarheid:
Test-hertest(methode) betrouwbaarheid
Parallelle vormen van betrouwbaarheid
Split run test
Interne consistentie betrouwbaarheid
Soorten validiteit:
Interne validiteit: je meet wat je beoogt te meten
Externe validiteit: je kan de resultaten veralgemenen
Face validity
o Vertalen we een concept zo in vragen dat iedereen meteen begrijpt waarover
het gaat?
Content validity
o Definiëren we een begrip zoals het ook in de literatuur aangepakt wordt?
o Zijn we in de brede academische wereld het eens over wat een concept
inhoudt?
Criterium validity
o Laat de manier waarop een concept gemeten wordt ook toe om in de
toekomst voorspellingen te doen?
o Laat de manier waarop een concept gemeten wordt toe om observaties te
klasseren?
Construct validity
o Als je een concept op een alternatieve manier meet, vertoont dit dan ook de
reeds vastgestelde samenhang met andere variabelen?
Beschrijvend onderzoek: is gericht op het beschrijven van een populatie/steekproef.
Bv. Hoeveel procent van de covid-19 besmettingen betreft jongeren in de
leeftijdsgroep 18-24 jaar?
Correlatief onderzoek: zoekt verbanden tussen fenomenen/variabelen.
Er is geen sluitend antwoord op de vraag of de wijziging van de verklarende
variabele(n), de enige en juiste oorzaak is van de wijziging van de afhankelijke
variabele
Het vinden van een verband kan spurious/toevallig/vertekend zijn omdat geen
rekening gehouden wordt met andere fenomenen die op hetzelfde moment spelen
Bv. Is leeftijd (verklarende variabele) bepalend voor de sterftekans n.a.v. covid-19
(afhankelijke variabele)?
2
,Causaal onderzoek: leidt tot de zekerheid dat een wijziging in de verklarende variabele(n)
een wijziging in een afhankelijke variabele veroorzaakt
Er zijn geen confounding factoren omdat je hiervoor controleert in de analyse
o Vergt goed gecontroleerd en gedefinieerd multivariaat onderzoeksdesign
De richting van het verband is zeker
o Endogeniteit: een verband tussen een variabele die niet is opgenomen in het
model met een variabele die daar wel in is opgenomen
o Vergt experimenteel of quasi-experimenteel opzet
o Vergt in multivariaat onderzoek een aangepast design
De systematiek van onderzoek: het onderzoeksplan
Een goed onderzoek wordt gekenmerkt door een systematische aanpak die kan herhaald
worden door derden.
Exploratief onderzoek Conclusief onderzoek
Wanneer? Bij start van een nieuw onderzoek Na de exploratieve fase
Doel? Komen tot beter zicht op de Komen tot inzichten over
relevante omgevingsvariabelen en relaties (=beschrijvend
de testbare hypothesen te onderzoek) en/of tot
formuleren causaliteit
Hoe? - Via bestuderen secundaire - Via beschrijvende analyses
bronnen - Via multivariate
- Via interviews met bevoorrechte analysetechnieken
getuigen - Via experimentele settings
- Via case studies
- Via preliminaire analyses en
berekeningen
De systematiek blijkt uit het onderzoeksplan: vertoont verschillende fasen, maar die zijn niet
allemaal in elk onderzoek noodzakelijk en kunnen in andere onderzoeken dan weer
meermaals herhaald worden.
Probleemstelling en informatiebehoefte
Onderzoek secundaire bronnen
Formuleren van (additionele) hypothesen
Vaststellen van de kosten
Primair exploratief onderzoek
Bijstellen van de onderzoeksvraag/stoppen
Herevalueren van de kosten van het onderzoek
Conclusief onderzoek
Conclusies
Rapportering
3
, Aandachtspunten bij het opstellen van het
onderzoeksplan
Van beleidsproblemen naar hypothesen
Stap 1: van elk onderzoek is een beleidsvraag
Brede maatschappelijk relevante problematieken die onderzocht moeten worden.
Belangrijk is ook dat de context goed in kaart gebracht wordt en dat vroeger onderzoek
geraadpleegd wordt.
Stap 2: vergt dat de beleidsvraag concreet vertaald wordt in 1 of meerdere
probleemstellingen
Probleemstellingen zijn testbare, meer afgebakende onderzoeksvragen, waarin een outcome
variabele (=afhankelijke variabele) gekoppeld wordt aan 1 of meerdere beïnvloedende
variabelen (=onafhankelijke variabelen).
Stap 3 : de probleemstelling moet vertaald worden in testbare hypothesen
In een hypothese worden de concepten uit de onderzoeksvraag verder geoperationaliseerd
in concreet meetbare variabelen en er wordt een richting van het verband aangegeven
tussen de afhankelijke en de onafhankelijke variabele.
Hypothesen moeten zo expliciet mogelijk geformuleerd worden:
Elk woord wikken en wegen en aftoetsen met bevoorrechte getuigen (blow up methode)
Belangrijk bij de keuze van de explicitering is de vraag waar de gegevens concreet zullen
voor gebruikt worden?
Nulhypothese: stelt dat een gevonden associatie of verschil berust op toeval, met andere
woorden dat er in werkelijkheid geen associatie of verschil bestaat.
Alternatieve hypothese: de veronderstelling dat het gezochte effect bestaat, verondersteld
een associatie.
De dataverzameling
Kleine aantallen (n<30) : kwalitatieve dataverzameling (via interviews, focusgroepen)
Grotere aantallen via:
o Secundaire bronnen: factuele data die systematisch worden verzameld en
daardoor ook geschikt is voor longitudinaal onderzoek (dezelfde
proefpersonen herhaaldelijk onderzocht om te bepalen of er na verloop van
tijd veranderingen zijn opgetreden)
o Survey onderzoek: data van kleinere populaties of eenmalige fenomenen die
niet systematisch wordt verzameld, data over opinies
4
kwantitatief
Wat is goed bestuurskundig onderzoek?
De eigenheid van bestuurskundig onderzoek
Public Administration heeft interdisciplinair karakter: bouwt op inzichten uit de
rechten, de economie, de psychologie en de sociologie
Het centrale object is de publieke sector: overheid én semi-overheid
Zeer brede actieradius
Sommige onderzoekspopulaties zijn klein in aantal: er zijn maar een beperkt aantal
units om te bestuderen, daardoor is representativiteit en theorievorming vaak een
probleem.
Andere onderzoeksonderwerpen impliceren een veelheid van data
Bestuurskundig onderzoek is toegepast onderzoek: Bestuurskundig onderzoek is
toegepast onderzoek omdat de vraag vaak zelf uit het beleid voorkomt. Niet eerst
een theoretisch model ontwikkelen, maar gericht op oplossingen vinden voor
problemen van het beleidsvraagstuk
Onderzoek gebeurt niet in een labo-setting maar in real life omgevingis het moeilijk
causale verbanden blootleggen, de meeste onderzoeken zijn dan ook beschrijvend of
correlatief van aard. Een correlatie is niet hetzelfde als oorzaak-gevolg
Er zijn nog maar weinig eigen “grand theories” ontwikkeld in Public Administration
Voorbeelden van bestuurskundig onderzoek
Criteria van goed onderzoek
Het doel is duidelijk
De onderzoeksopzet en -procedures zijn helder beschreven
Het onderzoek is gericht op het bekomen van objectieve resultaten
De data zijn met geschikte methodieken geanalyseerd
De conclusies zijn beperkt tot de populatie waarvoor de steekproef representatief is
(mate van rapportering)
Het onderzoek erkent zijn limitaties
Goed onderzoek moet voldoen aan 3 toetsstenen:
Betrouwbaarheid
o Is de meting vrij van toevalsmatige fouten?
o Als ik de meting herhaal kom ik dan tot hetzelfde resultaat?
o D.m.v. datasets kan men controleren of de geraporteerde resultaten identiek
zouden zijn indien iemand anders die zou uitvoeren consistente resultaten
Validiteit
o Is de meting vrij van systematische fouten?
o Meet ik wat ik wil meten?
o Zijn de resultaten veralgemeenbaar?
1
, Ingebed zijn in een theoretisch model op basis waarvan relevante hypothesen
worden geformuleerd
Niet elk resultaat van een onderzoek is veralgemeenbaar. Een goed onderzoek is daar eerlijk
in. Een goed onderzoeker is integer en eerlijk.
Soorten betrouwbaarheid:
Test-hertest(methode) betrouwbaarheid
Parallelle vormen van betrouwbaarheid
Split run test
Interne consistentie betrouwbaarheid
Soorten validiteit:
Interne validiteit: je meet wat je beoogt te meten
Externe validiteit: je kan de resultaten veralgemenen
Face validity
o Vertalen we een concept zo in vragen dat iedereen meteen begrijpt waarover
het gaat?
Content validity
o Definiëren we een begrip zoals het ook in de literatuur aangepakt wordt?
o Zijn we in de brede academische wereld het eens over wat een concept
inhoudt?
Criterium validity
o Laat de manier waarop een concept gemeten wordt ook toe om in de
toekomst voorspellingen te doen?
o Laat de manier waarop een concept gemeten wordt toe om observaties te
klasseren?
Construct validity
o Als je een concept op een alternatieve manier meet, vertoont dit dan ook de
reeds vastgestelde samenhang met andere variabelen?
Beschrijvend onderzoek: is gericht op het beschrijven van een populatie/steekproef.
Bv. Hoeveel procent van de covid-19 besmettingen betreft jongeren in de
leeftijdsgroep 18-24 jaar?
Correlatief onderzoek: zoekt verbanden tussen fenomenen/variabelen.
Er is geen sluitend antwoord op de vraag of de wijziging van de verklarende
variabele(n), de enige en juiste oorzaak is van de wijziging van de afhankelijke
variabele
Het vinden van een verband kan spurious/toevallig/vertekend zijn omdat geen
rekening gehouden wordt met andere fenomenen die op hetzelfde moment spelen
Bv. Is leeftijd (verklarende variabele) bepalend voor de sterftekans n.a.v. covid-19
(afhankelijke variabele)?
2
,Causaal onderzoek: leidt tot de zekerheid dat een wijziging in de verklarende variabele(n)
een wijziging in een afhankelijke variabele veroorzaakt
Er zijn geen confounding factoren omdat je hiervoor controleert in de analyse
o Vergt goed gecontroleerd en gedefinieerd multivariaat onderzoeksdesign
De richting van het verband is zeker
o Endogeniteit: een verband tussen een variabele die niet is opgenomen in het
model met een variabele die daar wel in is opgenomen
o Vergt experimenteel of quasi-experimenteel opzet
o Vergt in multivariaat onderzoek een aangepast design
De systematiek van onderzoek: het onderzoeksplan
Een goed onderzoek wordt gekenmerkt door een systematische aanpak die kan herhaald
worden door derden.
Exploratief onderzoek Conclusief onderzoek
Wanneer? Bij start van een nieuw onderzoek Na de exploratieve fase
Doel? Komen tot beter zicht op de Komen tot inzichten over
relevante omgevingsvariabelen en relaties (=beschrijvend
de testbare hypothesen te onderzoek) en/of tot
formuleren causaliteit
Hoe? - Via bestuderen secundaire - Via beschrijvende analyses
bronnen - Via multivariate
- Via interviews met bevoorrechte analysetechnieken
getuigen - Via experimentele settings
- Via case studies
- Via preliminaire analyses en
berekeningen
De systematiek blijkt uit het onderzoeksplan: vertoont verschillende fasen, maar die zijn niet
allemaal in elk onderzoek noodzakelijk en kunnen in andere onderzoeken dan weer
meermaals herhaald worden.
Probleemstelling en informatiebehoefte
Onderzoek secundaire bronnen
Formuleren van (additionele) hypothesen
Vaststellen van de kosten
Primair exploratief onderzoek
Bijstellen van de onderzoeksvraag/stoppen
Herevalueren van de kosten van het onderzoek
Conclusief onderzoek
Conclusies
Rapportering
3
, Aandachtspunten bij het opstellen van het
onderzoeksplan
Van beleidsproblemen naar hypothesen
Stap 1: van elk onderzoek is een beleidsvraag
Brede maatschappelijk relevante problematieken die onderzocht moeten worden.
Belangrijk is ook dat de context goed in kaart gebracht wordt en dat vroeger onderzoek
geraadpleegd wordt.
Stap 2: vergt dat de beleidsvraag concreet vertaald wordt in 1 of meerdere
probleemstellingen
Probleemstellingen zijn testbare, meer afgebakende onderzoeksvragen, waarin een outcome
variabele (=afhankelijke variabele) gekoppeld wordt aan 1 of meerdere beïnvloedende
variabelen (=onafhankelijke variabelen).
Stap 3 : de probleemstelling moet vertaald worden in testbare hypothesen
In een hypothese worden de concepten uit de onderzoeksvraag verder geoperationaliseerd
in concreet meetbare variabelen en er wordt een richting van het verband aangegeven
tussen de afhankelijke en de onafhankelijke variabele.
Hypothesen moeten zo expliciet mogelijk geformuleerd worden:
Elk woord wikken en wegen en aftoetsen met bevoorrechte getuigen (blow up methode)
Belangrijk bij de keuze van de explicitering is de vraag waar de gegevens concreet zullen
voor gebruikt worden?
Nulhypothese: stelt dat een gevonden associatie of verschil berust op toeval, met andere
woorden dat er in werkelijkheid geen associatie of verschil bestaat.
Alternatieve hypothese: de veronderstelling dat het gezochte effect bestaat, verondersteld
een associatie.
De dataverzameling
Kleine aantallen (n<30) : kwalitatieve dataverzameling (via interviews, focusgroepen)
Grotere aantallen via:
o Secundaire bronnen: factuele data die systematisch worden verzameld en
daardoor ook geschikt is voor longitudinaal onderzoek (dezelfde
proefpersonen herhaaldelijk onderzocht om te bepalen of er na verloop van
tijd veranderingen zijn opgetreden)
o Survey onderzoek: data van kleinere populaties of eenmalige fenomenen die
niet systematisch wordt verzameld, data over opinies
4
