Boek: Marktonderzoek Design - Iris van Hest
________________________________________________________________________________
Inleiding
Het belang van insights
Op het moment dat een kans of een probleem zichtbaar wordt voor een organisatie zijn er twee
mogelijke strategieën die bedrijven (maar ook mensen) kunnen toepassen:
1. Onderzoek uitvoeren;
2. Aan de slag zonder insights.
Systeem 1
Onze intuïtie en dit kost geen moeite. We zien dat systeem 1 (het voorkeursysteem) niet altijd gelijk
heeft.
Systeem 1 werkt automatisch en gaat vliegensvlug.
Systeem 2
Ons bewuste en rationele systeem.
Het kost moeite om dit systeem te gebruiken en het verloopt een stuk langzamer dan systeem 1.
Volgens McKinsey
Organisaties worden gerund op basis van geavanceerde, sterk statistisch gewortelde tools,
technieken en software.
Hoofdstuk 1
Onderzoek is moeilijk
Nee. Als mensen zijn we goed in onderzoeken, nieuwsgierig zijn en nieuwe zaken willen ontdekken
(dit is een mindset).
Onderzoek is alleen relevant voor academisch geschoolden
Een onderzoekende houding heeft te maken met de juiste mindset en een bijster gezonde dosis
nieuwsgierigheid.
Iedereen kan goed onderzoek uitvoeren
Veel onderzoeken leiden tot onbetrouwbare resultaten. Hoe kan dit?
Veel onderzoek wordt uitgevoerd door mensen die geen specifieke kennis over onderzoek bezitten
en dus ook niet op de hoogte zijn van de do’s and don’ts. Soms wordt een onderzoeksdesign met
bijbehorende techniek(en) niet getest.
Steekproefonderzoek
We moeten erop letten dat:
- Hoe en hoeveel respondenten selecteren we voor de steekproef.
- Is deze wel groot genoeg om een representatief en betrouwbaar beeld te geven?
- Is de steekproef wel representatief voor de populatie?
,Belangrijk is dat je als onderzoeker nagaat of dergelijke issues spelen en de risico’s hiervan proberen
te minimaliseren.
Bias
Externe factoren hebben een negatieve invloed op de uitkomsten van een onderzoek.
Betrouwbaarheid
- Is de informatie die vindt door middel van deskresearch wel waar?
Betrouwbaarheid checken:
- Wie of wat is de bron van de data en heeft deze bron belangen bij ‘gekleurde’ informatie?
- Is de bron bekend?
Wanneer je onderzoek uitvoert, dien je ervoor te zorgen dat je onderzoek altijd exact herhaald kan
worden. Het betrouwbaarheidsniveau hangt samen met de mate waarin het onderzoek vrij is van
toevallige fouten.
In hoeverre is de steekproefgrootte voldoende om betrouwbaar te zijn (ofwel bij herhaling dezelfde
resultaten oplevert).
Hoe kleiner het aantal respondenten, hoe invloedrijker ieder antwoord van de respondenten is en
hoe meer je gemiddelde berust op toeval.
Validiteit
Meet je wat je wilt meten (geldigheid van het onderzoek).
Verschillende vormen van validiteit
Construct- of begripsvaliditeit
Geeft aan in hoeverre het instrument datgene meet wat beoogd wordt te meten.
Inhoudsvaliditeit
Gaat over de vraag of alle facetten van een bepaald construct worden gemeten met het
desbetreffende onderzoek.
Criteriumvaliditeit
Je beoordeelt de validiteit van je construct door het te vergelijken met een extern criterium, zodat je
kunt nagaan of je test voorspellende waarde heeft.
Criteriumvariabelen
De variabelen die je eigenlijk had willen meten, maar die je om een of andere reden niet of moeilijk
rechtstreeks kunt vaststellen.
Contentvaliditeit (indruksvaliditeit of face validity)
, Betreft een subjectieve en praktische manier van evalueren in hoeverre de invulling van je
onderzoek datgene meet wat je graag wilt meten. Meerdere experts naar jouw onderzoek laten
kijken.
Ecologische validiteit
Gaat in op de vraag in hoeverre het onderzoek overeenkomsten vertoont met de werkelijke situatie.
Representativiteit
De mate waarin de steekproef overeenkomt met de populatie.
Er zijn twee momenten in het onderzoeksproces waarbij de representativiteit van de steekproef
belangrijk is en waar je hier als onderzoeker alert op moet zijn:
- Wanneer je de onderzoeksdoelgroep (populatie) en de bruto steekproef (eenheden in de
populatie die je vraagt om deel te nemen aan je onderzoek) definieert.
- Nadat het veldwerk is uitgevoerd en de netto steekproefomvang (de respondenten die
daadwerkelijk aan het onderzoek hebben meegedaan) bekend is. Ga na of er onder- en/of
oververtegenwoordigen zijn.
Populatie
Groep waar je uitspraken over wilt doen.
Responsetabel
Je kunt op basis van een response tabel nagaan of de netto steekproef een goede afspiegeling is van
de bruto steekproef.
ZIE TABEL 1 OP BLADZIJDE 32.
Mogelijke oplossing ondervertegenwoordiging
Weging. Let wel op = dit kan gezien worden als datamanipulatie.
Hoofdstuk 2
Aselecte steekproeftrekking
Houdt in dat iedereen uit de populatie dezelfde kans heeft om in de steekproef terecht te komen.
Voor het aselect selecteren van je respondenten heb je een steekproefkader nodig.
Manieren van aselect steekproeftrekken
- Enkelvoudige aselecte steekproef
- Systematische selecte steekproef
- Gestratificeerde steekproef
Enkelvoudige aselecte steekproef
De willekeurige methode van steekproeftrekken. Bij deze methode bekijk je hoeveel eenheden er in
een populatie zitten en vanuit daar trek je een random steekproef.
________________________________________________________________________________
Inleiding
Het belang van insights
Op het moment dat een kans of een probleem zichtbaar wordt voor een organisatie zijn er twee
mogelijke strategieën die bedrijven (maar ook mensen) kunnen toepassen:
1. Onderzoek uitvoeren;
2. Aan de slag zonder insights.
Systeem 1
Onze intuïtie en dit kost geen moeite. We zien dat systeem 1 (het voorkeursysteem) niet altijd gelijk
heeft.
Systeem 1 werkt automatisch en gaat vliegensvlug.
Systeem 2
Ons bewuste en rationele systeem.
Het kost moeite om dit systeem te gebruiken en het verloopt een stuk langzamer dan systeem 1.
Volgens McKinsey
Organisaties worden gerund op basis van geavanceerde, sterk statistisch gewortelde tools,
technieken en software.
Hoofdstuk 1
Onderzoek is moeilijk
Nee. Als mensen zijn we goed in onderzoeken, nieuwsgierig zijn en nieuwe zaken willen ontdekken
(dit is een mindset).
Onderzoek is alleen relevant voor academisch geschoolden
Een onderzoekende houding heeft te maken met de juiste mindset en een bijster gezonde dosis
nieuwsgierigheid.
Iedereen kan goed onderzoek uitvoeren
Veel onderzoeken leiden tot onbetrouwbare resultaten. Hoe kan dit?
Veel onderzoek wordt uitgevoerd door mensen die geen specifieke kennis over onderzoek bezitten
en dus ook niet op de hoogte zijn van de do’s and don’ts. Soms wordt een onderzoeksdesign met
bijbehorende techniek(en) niet getest.
Steekproefonderzoek
We moeten erop letten dat:
- Hoe en hoeveel respondenten selecteren we voor de steekproef.
- Is deze wel groot genoeg om een representatief en betrouwbaar beeld te geven?
- Is de steekproef wel representatief voor de populatie?
,Belangrijk is dat je als onderzoeker nagaat of dergelijke issues spelen en de risico’s hiervan proberen
te minimaliseren.
Bias
Externe factoren hebben een negatieve invloed op de uitkomsten van een onderzoek.
Betrouwbaarheid
- Is de informatie die vindt door middel van deskresearch wel waar?
Betrouwbaarheid checken:
- Wie of wat is de bron van de data en heeft deze bron belangen bij ‘gekleurde’ informatie?
- Is de bron bekend?
Wanneer je onderzoek uitvoert, dien je ervoor te zorgen dat je onderzoek altijd exact herhaald kan
worden. Het betrouwbaarheidsniveau hangt samen met de mate waarin het onderzoek vrij is van
toevallige fouten.
In hoeverre is de steekproefgrootte voldoende om betrouwbaar te zijn (ofwel bij herhaling dezelfde
resultaten oplevert).
Hoe kleiner het aantal respondenten, hoe invloedrijker ieder antwoord van de respondenten is en
hoe meer je gemiddelde berust op toeval.
Validiteit
Meet je wat je wilt meten (geldigheid van het onderzoek).
Verschillende vormen van validiteit
Construct- of begripsvaliditeit
Geeft aan in hoeverre het instrument datgene meet wat beoogd wordt te meten.
Inhoudsvaliditeit
Gaat over de vraag of alle facetten van een bepaald construct worden gemeten met het
desbetreffende onderzoek.
Criteriumvaliditeit
Je beoordeelt de validiteit van je construct door het te vergelijken met een extern criterium, zodat je
kunt nagaan of je test voorspellende waarde heeft.
Criteriumvariabelen
De variabelen die je eigenlijk had willen meten, maar die je om een of andere reden niet of moeilijk
rechtstreeks kunt vaststellen.
Contentvaliditeit (indruksvaliditeit of face validity)
, Betreft een subjectieve en praktische manier van evalueren in hoeverre de invulling van je
onderzoek datgene meet wat je graag wilt meten. Meerdere experts naar jouw onderzoek laten
kijken.
Ecologische validiteit
Gaat in op de vraag in hoeverre het onderzoek overeenkomsten vertoont met de werkelijke situatie.
Representativiteit
De mate waarin de steekproef overeenkomt met de populatie.
Er zijn twee momenten in het onderzoeksproces waarbij de representativiteit van de steekproef
belangrijk is en waar je hier als onderzoeker alert op moet zijn:
- Wanneer je de onderzoeksdoelgroep (populatie) en de bruto steekproef (eenheden in de
populatie die je vraagt om deel te nemen aan je onderzoek) definieert.
- Nadat het veldwerk is uitgevoerd en de netto steekproefomvang (de respondenten die
daadwerkelijk aan het onderzoek hebben meegedaan) bekend is. Ga na of er onder- en/of
oververtegenwoordigen zijn.
Populatie
Groep waar je uitspraken over wilt doen.
Responsetabel
Je kunt op basis van een response tabel nagaan of de netto steekproef een goede afspiegeling is van
de bruto steekproef.
ZIE TABEL 1 OP BLADZIJDE 32.
Mogelijke oplossing ondervertegenwoordiging
Weging. Let wel op = dit kan gezien worden als datamanipulatie.
Hoofdstuk 2
Aselecte steekproeftrekking
Houdt in dat iedereen uit de populatie dezelfde kans heeft om in de steekproef terecht te komen.
Voor het aselect selecteren van je respondenten heb je een steekproefkader nodig.
Manieren van aselect steekproeftrekken
- Enkelvoudige aselecte steekproef
- Systematische selecte steekproef
- Gestratificeerde steekproef
Enkelvoudige aselecte steekproef
De willekeurige methode van steekproeftrekken. Bij deze methode bekijk je hoeveel eenheden er in
een populatie zitten en vanuit daar trek je een random steekproef.
