Onderzoeksmethoden kwantitatief
Lesweek 1; Les 1: Wat is (goed) bestuurskundig onderzoek?
1. De eigenheid van bestuurskundig onderzoek
“Public administration is the study of the management, operation and functioning of government
bodies and organisations in the public sector”.
Public administration heeft een interdisciplinair karakter, dat betekent dat het bouwt op inzichten uit
de rechten, de economie, de psychologie en de sociologie. Het centrale object van public
administration is de publieke sector. Dat zijn de overheid én de semi-overheid (verzelfstandige
agentschappen, non-profit organisaties, staatsbedrijven). Het kent ook een zeer brede actieradius.
Denk bv aan de lokale aanpak van COVID-19, schaalvergroting van de lokale besturen, fusies en
coproductie,…
Bij bestuurskundig onderzoek zijn sommige onderzoekspopulaties klein in aantal. Denk bv aan het
aantal ministers, de nationale banken, universiteiten, coalitiepartners in een bestuur. Daardoor is er
vaak sprake van kwalitatief case onderzoek en dat kan moeilijk leiden tot generaliseerbare resultaten.
Andere onderzoeksonderwerpen impliceren een veelheid van data. De studie van de besluitvorming
over decreten is bv een complex gegeven. Politieke voorbereiding door de regering/het parlementair
proces/betrokkenheid van raden levert een berg info op die moet geanalyseerd en gesynthetiseerd
worden.
Bestuurskundig onderzoek is toegepast onderzoek. Het is een jonge discipline gericht op het vinden
van oplossingen van beleidsvraagstukken waardoor onderzoekers van empirische vraagstelling
moeten evolueren naar een normatief kader van beleidsaanbevelingen. Onderzoek gebeurt niet in
een labo-setting, maar in een real life omgeving. Dit impliceert dat er moeilijker causale verbanden
kunnen blootgelegd worden, de meeste onderzoeken zijn dan ook beschrijvend of correlatief van
aard.
2. Voorbeelden van bestuurskundig onderzoek
Voorbeeld: Het Departement Omgeving krijgt sterke signalen dat er problemen zouden zijn bij
Vlaamse gemeentebesturen omtrent uitval, vertrek en verloop binnen de gemeentelijke
omgevingsdienst van omgevingsmedewerkers en meer specifiek de gemeentelijke
omgevingsambtenaar (hierna: GOA).
De studie heeft tot doel om een wetenschappelijk onderbouwd inzicht te verwerven over de
gesignaleerde problematiek en oplossingsrichtingen te formuleren op lokaal en Vlaams niveau.
Het kwantitatief onderzoek richtte zich op het in kaart brengen van de gepercipieerde werkdruk van
GOA’s en omgevingsdiensten, de personeelsuitstroom en een rits aan mogelijke verklarende factoren
die te clusteren zijn in jobgerelateerde aspecten, aspecten eigen aan de directe werkomgeving,
organisatie- of dienstgerelateerde factoren en externe factoren.
Uit het onderzoek leren we dat er geen eenvoudige ‘silver bullet’-oplossing bestaat voor deze
complexe problematiek. Bijgevolg dient de opgave op verschillende fronten en via verschillende
maatregelen te worden aangepakt.
1
,Het rapport groepeert de oplossingsrichtingen rond zeven thema’s, namelijk: visie en kaderstelling,
mandaat van GOA, beleid en regelgeving, organisatie en werking, capaciteit, samenwerking en
communicatie.
3. Criteria van goed onderzoek
Goed onderzoek is des te belangrijker in tijden van fake new en snelle berichtgeving in traditionele en
sociale media. Maar hoe herken je een goed onderzoek? je kan het herkennen door de volgende
kenmerken:
- Het doel is duidelijk
- Onderzoeksopzet en -procedures zijn helder beschreven, zodat het onderzoek kan
gereproduceerd worden
- Het onderzoek is gericht op het bekomen van objectieve resultaten
- De data zijn met geschikte methodieken geanalyseerd
- De conclusies zijn beperkt tot de populatie waarvoor de steekproef representatief is
- Het onderzoek erkent zijn beperkingen
- Het onderzoek is gepubliceerd in wetenschappelijke peer-reviewed journals. Dat zijn
tijdschriften die zich specifiek richten op academici en die door andere academici worden
beoordeeld van datzelfde veld. Hier krijg je een oordeel van specialisten ter zake die zeggen
of het goed of slecht gedaan is.
Goed onderzoek is moeilijk bij:
- Abstracte concepten zoals welvaart, democratie, belastingbetaler,…
- Persoonlijke inschattingen/percepties/appreciaties zoals bv. pijn, tevredenheid, geluk,…
- Wijzigingen in effecten zonder het aanvangsniveau te kennen. Bv. Om te weten of je als
burger meer tevreden bent over je gemeente na de heraanleg van de dorpskom, moet ook de
tevredenheid vóór de heraanleg worden gekend.
- Wanneer we globale concepten willen meten. Bv. de algemene tevredenheid over de lokale
dienstverlening.
- Wanneer we de eigenlijke doelgroep moeilijk kunnen bereiken. Bv. de kwaliteit van
zorgverlening bij demente rusthuisbewoners
- Bij maatschappelijk gevoelige thema’s zoals bv. fraude of kindermisbruik
- Bij thema’s die sterk gemediatiseerd zijn. Bv. een burgerbevraging rond de weerstand tegen
fusies, windturbines,…
- Wanneer de uitkomst van het onderzoek bedreigend kan zijn, bv. gemeentefondshervorming.
Men moet wel altijd opletten bij de valse schijn van representativiteit met een panelonderzoek. Bv.
Uit een onderzoek bij een panel van 1000 Vlamingen – representatief naar gender, leeftijd en
inkomen – blijkt dat een grote meerderheid voorstander is van een vermogensbelasting, ook al werd
vermogen niet als selectiecriterium gebruikt bij de samenstelling van het panel.
Goed onderzoek moet voldoen aan de volgende 3 toetsstenen:
- Betrouwbaarheid
- Validiteit
- Ingebed zijn in een theoretisch model op basis waarvan relevante hypothesen worden
geformuleerd
2
, Secundair is ook doelmatigheid, gebruiksgemak van de onderzoeksinstrumenten en
interpreteerbaarheid van belang.
Bij betrouwbaarheid kijkt men of de meting vrij is van toevalsgerelateerde fouten. M.a.w.: als ik de
meting herhaal kom in dat tot hetzelfde resultaat? Bij validiteit kijkt men of de meting vrij is van
systematische fouten. M.a.w.: meet ik wat ik wil meten? Zijn de resultaten veralgemeenbaar?
Betrouwbaarheid is een noodzakelijke, maar niet voldoende voorwaarde voor validiteit.
Voorbeeld: Een auto rijdt 5x na elkaar in dezelfde condities voorbij een snelheidsmeter aan de rand
van de bebouwde kom. De snelheidsmeter vertoont volgende metingen:
Hoe kan je betrouwbaarheid vaststellen:
- Test-hertestmethode: (zie voorbeeld van de snelheidscontroles) ! Indien te snel herhaald,
mogelijk gevaar op vertekening door herinnering. ! Indien hertest lang wordt uitgesteld,
kunnen de omstandigheden gewijzigd zijn.
- Parallelle vormen van betrouwbaarheid: Bv. Selectiejury kiest 5 testen om ideale kandidaat
te bepalen; elk lid van de jury is het eens over de testen en over het onderling belang;
betrouwbare resultaten= convergerende uitkomsten van de 5 juryleden.
- Split run test: Bv. Je meet het begrip “ geluk” met 20 items in een survey; je stuurt de eerste
10 items naar een toevallig gekozen groep respondenten en de 10 volgende eveneens naar
een andere ad random gekozen groep; betrouwbaarheid= de resultaten van de 2 groepen
convergeren.
- Interne consistentie betrouwbaarheid: Bv. Je meet het begrip/construct “tevredenheid” met
10 items; via Cronbach alfa test controleer je of de scores op de 10 items voldoende
correleren; indien wel (alfa>70%) dan is de meting betrouwbaar.
Vormen van validiteit die je kan onderscheiden:
- Interne validiteit: Je meet wat je beoogt te meten
- Externe validiteit: Je kan de resultaten veralgemenen
- Face validity: Hierbij ga je je afvragen of we een concept vertalen in vragen iedereen meteen
begrijpt waarover het gaat.
- Content validity: Hierbij kijken we of we een begrip definiëren zoals het ook in de literatuur
wordt aangepakt. Zijn we in de brede academische wereld het eens over wat een concept
inhoudt?
- Criterium validity: Dit kunnen we opdelen in 2 zaken:
Laat de manier waarop een concept gemeten wordt ook toe om in de toekomst
voorspellingen te doen? (predictieve validiteit)
Laat de manier waarop een concept gemeten wordt toe om observaties te klasseren?
(vergelijkende validiteit)
- Construct validity: Als je een concept op een alternatieve manier meet, vertoont dit dan ook
de reeds vastgestelde samenhang met andere variabelen? Bv. De nieuwe meting van
3
Lesweek 1; Les 1: Wat is (goed) bestuurskundig onderzoek?
1. De eigenheid van bestuurskundig onderzoek
“Public administration is the study of the management, operation and functioning of government
bodies and organisations in the public sector”.
Public administration heeft een interdisciplinair karakter, dat betekent dat het bouwt op inzichten uit
de rechten, de economie, de psychologie en de sociologie. Het centrale object van public
administration is de publieke sector. Dat zijn de overheid én de semi-overheid (verzelfstandige
agentschappen, non-profit organisaties, staatsbedrijven). Het kent ook een zeer brede actieradius.
Denk bv aan de lokale aanpak van COVID-19, schaalvergroting van de lokale besturen, fusies en
coproductie,…
Bij bestuurskundig onderzoek zijn sommige onderzoekspopulaties klein in aantal. Denk bv aan het
aantal ministers, de nationale banken, universiteiten, coalitiepartners in een bestuur. Daardoor is er
vaak sprake van kwalitatief case onderzoek en dat kan moeilijk leiden tot generaliseerbare resultaten.
Andere onderzoeksonderwerpen impliceren een veelheid van data. De studie van de besluitvorming
over decreten is bv een complex gegeven. Politieke voorbereiding door de regering/het parlementair
proces/betrokkenheid van raden levert een berg info op die moet geanalyseerd en gesynthetiseerd
worden.
Bestuurskundig onderzoek is toegepast onderzoek. Het is een jonge discipline gericht op het vinden
van oplossingen van beleidsvraagstukken waardoor onderzoekers van empirische vraagstelling
moeten evolueren naar een normatief kader van beleidsaanbevelingen. Onderzoek gebeurt niet in
een labo-setting, maar in een real life omgeving. Dit impliceert dat er moeilijker causale verbanden
kunnen blootgelegd worden, de meeste onderzoeken zijn dan ook beschrijvend of correlatief van
aard.
2. Voorbeelden van bestuurskundig onderzoek
Voorbeeld: Het Departement Omgeving krijgt sterke signalen dat er problemen zouden zijn bij
Vlaamse gemeentebesturen omtrent uitval, vertrek en verloop binnen de gemeentelijke
omgevingsdienst van omgevingsmedewerkers en meer specifiek de gemeentelijke
omgevingsambtenaar (hierna: GOA).
De studie heeft tot doel om een wetenschappelijk onderbouwd inzicht te verwerven over de
gesignaleerde problematiek en oplossingsrichtingen te formuleren op lokaal en Vlaams niveau.
Het kwantitatief onderzoek richtte zich op het in kaart brengen van de gepercipieerde werkdruk van
GOA’s en omgevingsdiensten, de personeelsuitstroom en een rits aan mogelijke verklarende factoren
die te clusteren zijn in jobgerelateerde aspecten, aspecten eigen aan de directe werkomgeving,
organisatie- of dienstgerelateerde factoren en externe factoren.
Uit het onderzoek leren we dat er geen eenvoudige ‘silver bullet’-oplossing bestaat voor deze
complexe problematiek. Bijgevolg dient de opgave op verschillende fronten en via verschillende
maatregelen te worden aangepakt.
1
,Het rapport groepeert de oplossingsrichtingen rond zeven thema’s, namelijk: visie en kaderstelling,
mandaat van GOA, beleid en regelgeving, organisatie en werking, capaciteit, samenwerking en
communicatie.
3. Criteria van goed onderzoek
Goed onderzoek is des te belangrijker in tijden van fake new en snelle berichtgeving in traditionele en
sociale media. Maar hoe herken je een goed onderzoek? je kan het herkennen door de volgende
kenmerken:
- Het doel is duidelijk
- Onderzoeksopzet en -procedures zijn helder beschreven, zodat het onderzoek kan
gereproduceerd worden
- Het onderzoek is gericht op het bekomen van objectieve resultaten
- De data zijn met geschikte methodieken geanalyseerd
- De conclusies zijn beperkt tot de populatie waarvoor de steekproef representatief is
- Het onderzoek erkent zijn beperkingen
- Het onderzoek is gepubliceerd in wetenschappelijke peer-reviewed journals. Dat zijn
tijdschriften die zich specifiek richten op academici en die door andere academici worden
beoordeeld van datzelfde veld. Hier krijg je een oordeel van specialisten ter zake die zeggen
of het goed of slecht gedaan is.
Goed onderzoek is moeilijk bij:
- Abstracte concepten zoals welvaart, democratie, belastingbetaler,…
- Persoonlijke inschattingen/percepties/appreciaties zoals bv. pijn, tevredenheid, geluk,…
- Wijzigingen in effecten zonder het aanvangsniveau te kennen. Bv. Om te weten of je als
burger meer tevreden bent over je gemeente na de heraanleg van de dorpskom, moet ook de
tevredenheid vóór de heraanleg worden gekend.
- Wanneer we globale concepten willen meten. Bv. de algemene tevredenheid over de lokale
dienstverlening.
- Wanneer we de eigenlijke doelgroep moeilijk kunnen bereiken. Bv. de kwaliteit van
zorgverlening bij demente rusthuisbewoners
- Bij maatschappelijk gevoelige thema’s zoals bv. fraude of kindermisbruik
- Bij thema’s die sterk gemediatiseerd zijn. Bv. een burgerbevraging rond de weerstand tegen
fusies, windturbines,…
- Wanneer de uitkomst van het onderzoek bedreigend kan zijn, bv. gemeentefondshervorming.
Men moet wel altijd opletten bij de valse schijn van representativiteit met een panelonderzoek. Bv.
Uit een onderzoek bij een panel van 1000 Vlamingen – representatief naar gender, leeftijd en
inkomen – blijkt dat een grote meerderheid voorstander is van een vermogensbelasting, ook al werd
vermogen niet als selectiecriterium gebruikt bij de samenstelling van het panel.
Goed onderzoek moet voldoen aan de volgende 3 toetsstenen:
- Betrouwbaarheid
- Validiteit
- Ingebed zijn in een theoretisch model op basis waarvan relevante hypothesen worden
geformuleerd
2
, Secundair is ook doelmatigheid, gebruiksgemak van de onderzoeksinstrumenten en
interpreteerbaarheid van belang.
Bij betrouwbaarheid kijkt men of de meting vrij is van toevalsgerelateerde fouten. M.a.w.: als ik de
meting herhaal kom in dat tot hetzelfde resultaat? Bij validiteit kijkt men of de meting vrij is van
systematische fouten. M.a.w.: meet ik wat ik wil meten? Zijn de resultaten veralgemeenbaar?
Betrouwbaarheid is een noodzakelijke, maar niet voldoende voorwaarde voor validiteit.
Voorbeeld: Een auto rijdt 5x na elkaar in dezelfde condities voorbij een snelheidsmeter aan de rand
van de bebouwde kom. De snelheidsmeter vertoont volgende metingen:
Hoe kan je betrouwbaarheid vaststellen:
- Test-hertestmethode: (zie voorbeeld van de snelheidscontroles) ! Indien te snel herhaald,
mogelijk gevaar op vertekening door herinnering. ! Indien hertest lang wordt uitgesteld,
kunnen de omstandigheden gewijzigd zijn.
- Parallelle vormen van betrouwbaarheid: Bv. Selectiejury kiest 5 testen om ideale kandidaat
te bepalen; elk lid van de jury is het eens over de testen en over het onderling belang;
betrouwbare resultaten= convergerende uitkomsten van de 5 juryleden.
- Split run test: Bv. Je meet het begrip “ geluk” met 20 items in een survey; je stuurt de eerste
10 items naar een toevallig gekozen groep respondenten en de 10 volgende eveneens naar
een andere ad random gekozen groep; betrouwbaarheid= de resultaten van de 2 groepen
convergeren.
- Interne consistentie betrouwbaarheid: Bv. Je meet het begrip/construct “tevredenheid” met
10 items; via Cronbach alfa test controleer je of de scores op de 10 items voldoende
correleren; indien wel (alfa>70%) dan is de meting betrouwbaar.
Vormen van validiteit die je kan onderscheiden:
- Interne validiteit: Je meet wat je beoogt te meten
- Externe validiteit: Je kan de resultaten veralgemenen
- Face validity: Hierbij ga je je afvragen of we een concept vertalen in vragen iedereen meteen
begrijpt waarover het gaat.
- Content validity: Hierbij kijken we of we een begrip definiëren zoals het ook in de literatuur
wordt aangepakt. Zijn we in de brede academische wereld het eens over wat een concept
inhoudt?
- Criterium validity: Dit kunnen we opdelen in 2 zaken:
Laat de manier waarop een concept gemeten wordt ook toe om in de toekomst
voorspellingen te doen? (predictieve validiteit)
Laat de manier waarop een concept gemeten wordt toe om observaties te klasseren?
(vergelijkende validiteit)
- Construct validity: Als je een concept op een alternatieve manier meet, vertoont dit dan ook
de reeds vastgestelde samenhang met andere variabelen? Bv. De nieuwe meting van
3
