Onderzoekspracticum 1: survey
Fouten in een survey:
- Wat kan er mis gaan?
- Verschillende aspecten wat mis kan gaan
- Verbeteren van fouten
- Wat zijn goede vragen?
o Slechte vragen betekenen slechte antwoorden
Populatie:
- Nooit iedereen
- Maar is de survey dan wel representatief voor iedereen? Soorten fouten in survey:
Geen geluk - Random fouten
Kansspel of dat het de mening van o Geen geluk
iedereen is o Moeilijke vragen waardoor
- 2 soorten bias → niet handig je geen antwoord kan
1. Systematisch positiever geven
2. Systematisch negatiever o “Hoeveel liedjes heb je
- Als je random zou kiezen, weet je niets af van de geluisterd op Spotify?”
eventuele bias van een persoon o Sommige te hoog, andere
- Liever geen bias te laag of correct
- Random selectie o Niet zeker of het waar is
o Overzicht van meningen - Systematische fouten
o Overkoepelende mening o Eerste rij studenten
o Niet met bias o Dezelfde eigenschappen
Te positief of te negatief o Genoodzaakt antwoord te
geven
Vragen: o Niet tegen de docent
- Genoodzaakt om antwoord te geven zeggen dat je de boeken
o “Heb je het boek gelezen dat je voor vandaag niet leest
moest lezen?”
o Niet representatief
o Systematische of random verschillen → bias
Fouten vragen:
- Double barreled Verschillende vragen:
o 2 aspecten in 1 vraag - Als je de optie “weet ik niet” toevoegt
- Leidende vraag zullen mensen het eerder gebruiken
- Onduidelijke woorden gebruiken o Minder nadenken over de
- Is de druk van de vraag normaal? vraag zelf
o Denk aan respondenten - Hetzelfde als voor de midden
o Hoog opgeleid categorie
o Vragen die ze begrijpen o Zowel mee eens als oneens
- Als je een “ja” of “nee” antwoord wil, zijn er meer - Geen keus → beide niet meenemen
mogelijkheden? o Tenzij je wilt weten hoeveel
- Niet te veel op herinneringen vragen mensen iets van het
o Optie: ik weet het niet onderwerp afweten
o Antwoorden veranderen o Als mensen het niet weten,
o Eerder een antwoord kiezen, want anders gaan ze niet beantwoorden
help je iemand niet o Waarom deze
o Niveau van scholen antwoordopties?
,Antwoord opties:
- Helemaal mee eens – mee eens – mee oneens – helemaal mee oneens
o Ordinale schaal
- 7-punt-likertschaal
o Behandelen als interval schaal Antwoord:
o Zelfde aantal antwoordopties - 2de deel van een antwoord geeft
- Niet altijd getailleerd te zijn meer indruk dan 1ste deel
o Hoeveel kinderen → meestal een goed o Blijft beter hangen
antwoord - Kijkt naar antwoordopties
o Hoeveel liedjes op Spotify o 1ste deel beter hangen
Geen goed antwoord - Luister naar antwoordopties
Niet belangrijk o 2de deel beter hangen
Afronden op hele getallen - Eerder voor eens dan voor
oneens kiezen
Sociaal wenselijk: - Gesloten antwoorden kiezen
- “hebben jullie het boek gelezen?” - Wel open vragen
- Haal hun angst weg om te beantwoorden o Welke niveau wil je?
- Een inleiding geven aan de vraag o Eerder vermijden
- Meerdere antwoorden geven alleen als het nodig is
Antwoord mogelijkheden:
- Makkelijk voor respondent
- Combineren van positieve en negatieve woorden
- Midden categorie of “ik weet het niet”
- Hoe gedetailleerd?
- Alle mogelijke antwoorden
Gebalanceerde vragen
Structuur: - Niet leidend
1. Duidelijke instructie - Beide kanten laten zien
o Introduceer jezelf - Negatief en positief
o Niet te veel zeggen over studie - Antwoorden op aansluiten
o Denk aan ethiek
2. Algemene vragen
3. Specifieke vragen
4. Saaie vragen op het einde
Primacy & recency:
- Volgorde van de antwoordcategorieën
- Geschreven survey → eerste onthoud je beter → primacy
- Luisteren naar interview → laatste onthoud je beter → recency
- Oplossing: antwoord categorieën laten verschillen
o Niet altijd hetzelfde antwoord op de eerste plaats
- Bias op individueel niveau en niet op groepsniveau
- Open vraag zorgt niet voor bias op individueel niveau
Modus van survey:
- Hoe gaan we de respondenten bereiken
o Telefonisch
o Face-to-face
o Internet
, o Post
- Nadelen en voordelen van elke modus Verschil post en internet:
Interviewer gebruiken: - Snel & langzaam
- Helpt bij complexe vragen - Foto’s of video’s toevoegen
- Kan wel van invloed zijn op de antwoorden: - Routing van vragen
o Voorzichtig zijn - Niet iedereen heeft internet
o Sociaal wenselijk - Post: hoge kwaliteit antwoorden
- Geen non-response o Simpele vragen
- Controle over gesprek
- Alle antwoorden
- Kost veel geld
- Privacy → geen juiste antwoorden
- Interviewer effect (kan ook telefonisch)
Interviewer effect:
Zonder interviewer: - Maakt uit hoe de interviewer er uit
- Goedkoop ziet
- Meer anoniem → privacy o Vooral voor privé vragen
- Post: geen non respons o Vragen over moslim
- Wie beantwoord de survey? terroristen die worden
gesteld door een moslim
Telefonisch: - Sociaal wenselijkheid
- Duur, maar wel snel - Interactie tussen respondent en
- Kleine hulp interviewer
- Hoge non respons o Codeer interviewer
Verschillende modussen mixen:
- Meerdere methodes, dezelfde vragen
o Hoe moet je de vragen stellen?
Vragen goed online, maar slecht bij een interviewer
En andersom
Van beide een beetje
Moet beide goed werken
o 100 online enquêtes?
Vergelijken → ook 100 interviews
Populatie:
- Samples van populatie
o Kan verschillen
o Sommige zijn 8 groot, 9 groot, 10 groot of 11 groot bijvoorbeeld
o Sampling fout
Kan je niets aan doen
- Random → betrouwbaarheid
- Systematische fouten: bias
o Te veel groepen van 10 en groter of van 10 en lager
o Selectie bias
o Sample frame is niet goed
o Representatief zijn
Maakt niet uit hoeveel personen er zijn als ze representatief zijn
- Willen wat zeggen over de populatie
o Gebruik van samples
o Groepen van populatie
Fouten in een survey:
- Wat kan er mis gaan?
- Verschillende aspecten wat mis kan gaan
- Verbeteren van fouten
- Wat zijn goede vragen?
o Slechte vragen betekenen slechte antwoorden
Populatie:
- Nooit iedereen
- Maar is de survey dan wel representatief voor iedereen? Soorten fouten in survey:
Geen geluk - Random fouten
Kansspel of dat het de mening van o Geen geluk
iedereen is o Moeilijke vragen waardoor
- 2 soorten bias → niet handig je geen antwoord kan
1. Systematisch positiever geven
2. Systematisch negatiever o “Hoeveel liedjes heb je
- Als je random zou kiezen, weet je niets af van de geluisterd op Spotify?”
eventuele bias van een persoon o Sommige te hoog, andere
- Liever geen bias te laag of correct
- Random selectie o Niet zeker of het waar is
o Overzicht van meningen - Systematische fouten
o Overkoepelende mening o Eerste rij studenten
o Niet met bias o Dezelfde eigenschappen
Te positief of te negatief o Genoodzaakt antwoord te
geven
Vragen: o Niet tegen de docent
- Genoodzaakt om antwoord te geven zeggen dat je de boeken
o “Heb je het boek gelezen dat je voor vandaag niet leest
moest lezen?”
o Niet representatief
o Systematische of random verschillen → bias
Fouten vragen:
- Double barreled Verschillende vragen:
o 2 aspecten in 1 vraag - Als je de optie “weet ik niet” toevoegt
- Leidende vraag zullen mensen het eerder gebruiken
- Onduidelijke woorden gebruiken o Minder nadenken over de
- Is de druk van de vraag normaal? vraag zelf
o Denk aan respondenten - Hetzelfde als voor de midden
o Hoog opgeleid categorie
o Vragen die ze begrijpen o Zowel mee eens als oneens
- Als je een “ja” of “nee” antwoord wil, zijn er meer - Geen keus → beide niet meenemen
mogelijkheden? o Tenzij je wilt weten hoeveel
- Niet te veel op herinneringen vragen mensen iets van het
o Optie: ik weet het niet onderwerp afweten
o Antwoorden veranderen o Als mensen het niet weten,
o Eerder een antwoord kiezen, want anders gaan ze niet beantwoorden
help je iemand niet o Waarom deze
o Niveau van scholen antwoordopties?
,Antwoord opties:
- Helemaal mee eens – mee eens – mee oneens – helemaal mee oneens
o Ordinale schaal
- 7-punt-likertschaal
o Behandelen als interval schaal Antwoord:
o Zelfde aantal antwoordopties - 2de deel van een antwoord geeft
- Niet altijd getailleerd te zijn meer indruk dan 1ste deel
o Hoeveel kinderen → meestal een goed o Blijft beter hangen
antwoord - Kijkt naar antwoordopties
o Hoeveel liedjes op Spotify o 1ste deel beter hangen
Geen goed antwoord - Luister naar antwoordopties
Niet belangrijk o 2de deel beter hangen
Afronden op hele getallen - Eerder voor eens dan voor
oneens kiezen
Sociaal wenselijk: - Gesloten antwoorden kiezen
- “hebben jullie het boek gelezen?” - Wel open vragen
- Haal hun angst weg om te beantwoorden o Welke niveau wil je?
- Een inleiding geven aan de vraag o Eerder vermijden
- Meerdere antwoorden geven alleen als het nodig is
Antwoord mogelijkheden:
- Makkelijk voor respondent
- Combineren van positieve en negatieve woorden
- Midden categorie of “ik weet het niet”
- Hoe gedetailleerd?
- Alle mogelijke antwoorden
Gebalanceerde vragen
Structuur: - Niet leidend
1. Duidelijke instructie - Beide kanten laten zien
o Introduceer jezelf - Negatief en positief
o Niet te veel zeggen over studie - Antwoorden op aansluiten
o Denk aan ethiek
2. Algemene vragen
3. Specifieke vragen
4. Saaie vragen op het einde
Primacy & recency:
- Volgorde van de antwoordcategorieën
- Geschreven survey → eerste onthoud je beter → primacy
- Luisteren naar interview → laatste onthoud je beter → recency
- Oplossing: antwoord categorieën laten verschillen
o Niet altijd hetzelfde antwoord op de eerste plaats
- Bias op individueel niveau en niet op groepsniveau
- Open vraag zorgt niet voor bias op individueel niveau
Modus van survey:
- Hoe gaan we de respondenten bereiken
o Telefonisch
o Face-to-face
o Internet
, o Post
- Nadelen en voordelen van elke modus Verschil post en internet:
Interviewer gebruiken: - Snel & langzaam
- Helpt bij complexe vragen - Foto’s of video’s toevoegen
- Kan wel van invloed zijn op de antwoorden: - Routing van vragen
o Voorzichtig zijn - Niet iedereen heeft internet
o Sociaal wenselijk - Post: hoge kwaliteit antwoorden
- Geen non-response o Simpele vragen
- Controle over gesprek
- Alle antwoorden
- Kost veel geld
- Privacy → geen juiste antwoorden
- Interviewer effect (kan ook telefonisch)
Interviewer effect:
Zonder interviewer: - Maakt uit hoe de interviewer er uit
- Goedkoop ziet
- Meer anoniem → privacy o Vooral voor privé vragen
- Post: geen non respons o Vragen over moslim
- Wie beantwoord de survey? terroristen die worden
gesteld door een moslim
Telefonisch: - Sociaal wenselijkheid
- Duur, maar wel snel - Interactie tussen respondent en
- Kleine hulp interviewer
- Hoge non respons o Codeer interviewer
Verschillende modussen mixen:
- Meerdere methodes, dezelfde vragen
o Hoe moet je de vragen stellen?
Vragen goed online, maar slecht bij een interviewer
En andersom
Van beide een beetje
Moet beide goed werken
o 100 online enquêtes?
Vergelijken → ook 100 interviews
Populatie:
- Samples van populatie
o Kan verschillen
o Sommige zijn 8 groot, 9 groot, 10 groot of 11 groot bijvoorbeeld
o Sampling fout
Kan je niets aan doen
- Random → betrouwbaarheid
- Systematische fouten: bias
o Te veel groepen van 10 en groter of van 10 en lager
o Selectie bias
o Sample frame is niet goed
o Representatief zijn
Maakt niet uit hoeveel personen er zijn als ze representatief zijn
- Willen wat zeggen over de populatie
o Gebruik van samples
o Groepen van populatie