Onderzoekspracticum inleiding
onderzoek
PB0212
,Voorkennis
Vijf fasen onderzoek cyclus:
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
Full disclosure: volledige openheid wordt gegeven over het onderzoeksproces.
Aangezien publiceren nu goedkoper is dan vroeger kunnen er allerlei zaken met een
artikel mee gepubliceerd worden, zoals data en metadata waardoor full disclosure goed
mogelijk is.
Publication bias: het fenomeen dat het gemakkelijker is om onderzoek te publiceren
dat wel een effect laat zien dan onderzoek dat geen effect laat zien. Journals geven de
voorkeur aan onderzoek dat effect laat zien. Ook wel het file-drawer-probleem
genoemd omdat onderzoek dat geen effecten laat zien in de kast blijft liggen.
Preregistratie: voor start van onderzoek onderzoeksplan & hypothesen registreren bij
een database voordat ze aan onderzoek starten.
Moderator: beïnvloedt sterkte of richting van het effect (bv geslacht/stemming).
Controle variabele: wordt meegenomen om vertekening te voorkomen (bv leeftijd/
BMI).
1.2
Alles wat varieert is een variabele.
Operationalisatie: worden gebruikt om psychologische constructen te meten, maken
het concreet en tastbaar.
Soorten operationalisatie:
1. Meetinstrumenten: consistente wijze een variabele te kwantificeren oftewel
representeren in een datareeks van getallen. Constructen worden gemeten met
verschillende items (stimuli), die samen het betreffende construct omvatten.
2. Manipulaties: door het manipuleren van variabelen in een experimenteel
onderzoek kan onderzocht worden of er een causaal verband bestaat tussen
twee variabelen. De manipulaties zijn dus ontwikkeld om een specifiek
construct te beïnvloeden.
1.2
Meetwaarden: mogelijke waarden die behaald kunnen worden bij de operationalisatie.
Reflectief meetmodel: hierin lopen er lijnen van het construct, ook wel de lantente
variabele, naar de indicatoren. Reflectie van onderliggende constructen. De kant waar
de pijl op wijst is belangrijk, gaat de pijl van het construct naar de indicatoren, dan wordt
er veronderstelt dat het construct bepaalt hoe de indicatoren wordt gescoord.
,→ Niet alles kan met reflectief meetmodel onderzocht worden (bv indexvariabelen zoals
sociaal economische status waarbij verschillende zaken bij elkaar worden opgeteld).
Het meetmodel moet altijd het construct bevatten in een ovaal, met alle stimuli in
rechthoeken. De pijl loopt van het construct naar de vragen.
1.3
Perfecte meting is onmogelijk, de imperfectie/ onzuiverheid van metingen worden vaak
omschreven in termen van betrouwbaarheid en validiteit.
Betrouwbaarheid: mate waarin een meting bij herhaling telkens hetzelfde resultaat
oplevert.
Niet-systematische meetfout (ruis): toevallige verstorende invloeden op een
testscore. De niet-systematische meetfout is het complement van de betrouwbaarheid
(meting betrouwbaarder bij minder van deze meetfouten).
Systematische meetfout (bias): geen sprake van toevallige verstoring van het
meetresultaat maar van een systematische vertekening, waardoor iemand bijvoorbeeld
stelselmatig een lagere IQ-score zal halen ivm insomnia.
Validiteit: de mate waarin een meetinstrument meet wat het moet meten.
Causale opvatting van validiteit
1. Het construct bestaat
2. Verschillen tussen (of binnen) mensen op het construct tot verschillende
uitkomsten op het meetinstrument leiden.
Constructvaliditeit: hierbij wordt gekeken in hoeverre interpretaties van testscores
ondersteund worden door theorie en empirisch bewijs voor het gebruik van deze test.
Daarnaast houdt het in dat onderzocht wordt of er samenhang is met andere variabelen
en uitkomsten zoals te verwachten is op basis van theorie en eerder onderzoek.
Validiteit is relatief gemakkelijk te onderzoeken (voordelig).
→ Wanneer de scores van de nieuwe en de oude vragenlijst samenhangen, wordt dit
gezien als evidentie voor de constructvaliditeit. Dit is echter geen voldoende test om te
weten of een meetinstrument het construct meet, causale opvatting van validiteit is dan
toch nodig.
Overige soorten validiteit:
• Indruksvaliditeit: mate waarin het meetinstrument de indruk geeft te meten wat
het zou moeten meten na bestudering van het meetinstrument door een leek of
iemand uit het vakgebied (praktisch).
• Criteriumvaliditeit: mate waarin de uitkomsten van een meetinstrument als
verwacht samenhangen met die op een ander meetinstrument of uitkomstmaat.
(Bv. Intelligentietest hangt samen met schoolcijfers).
, • Externe validiteit: mate waarin de uitkomsten van een studie gegeneraliseerd
kunnen worden naar de doelpopulatie. (Bv. Onderzoek wordt vaak uitgevoerd in
kunstmatige omstandigheden zoals labs, in hoeverre dit geldt buiten
onderzochte context).
• Inhoudsvaliditeit: mate waarin de items van het meetinstrument het gehele
construct omvatten. Een meetinstrument met goede inhoudsvaliditeit moet
verschillende aspecten van een eigenschap omvatten.
Relatie tussen betrouwbaarheid en validiteit: wordt gesteld dat betrouwbaarheid een
noodzakelijke, maar niet voldoende voorwaarde is voor validiteit. Daarmee wordt
bedoeld dat een meetinstrument met een lage betrouwbaarheid nooit valide kan zijn.
Een meetinstrument met hoge betrouwbaarheid kan wel, maar hoeft niet valide te zijn.
Voor elke studie moet opnieuw worden bepaald hoe het zit met betrouwbaarheid en
validiteit voor meetinstrumenten en manipulaties.
Kwantitatief onderzoek: relaties van variabelen te onderzoeken. Aan de hand van
meetinstrumenten en manipulaties worden getallen toegekend aan variabelen. Getallen
vormen datareeksen die worden geanalyseerd met statistische software. Nadeel van
kwantitatief onderzoek: vereist operationalisatie van hoge kwaliteit (betrouwbaar &
valide). Dataverzameling is veel gestandaardiseerd.
onderzoek
PB0212
,Voorkennis
Vijf fasen onderzoek cyclus:
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
Full disclosure: volledige openheid wordt gegeven over het onderzoeksproces.
Aangezien publiceren nu goedkoper is dan vroeger kunnen er allerlei zaken met een
artikel mee gepubliceerd worden, zoals data en metadata waardoor full disclosure goed
mogelijk is.
Publication bias: het fenomeen dat het gemakkelijker is om onderzoek te publiceren
dat wel een effect laat zien dan onderzoek dat geen effect laat zien. Journals geven de
voorkeur aan onderzoek dat effect laat zien. Ook wel het file-drawer-probleem
genoemd omdat onderzoek dat geen effecten laat zien in de kast blijft liggen.
Preregistratie: voor start van onderzoek onderzoeksplan & hypothesen registreren bij
een database voordat ze aan onderzoek starten.
Moderator: beïnvloedt sterkte of richting van het effect (bv geslacht/stemming).
Controle variabele: wordt meegenomen om vertekening te voorkomen (bv leeftijd/
BMI).
1.2
Alles wat varieert is een variabele.
Operationalisatie: worden gebruikt om psychologische constructen te meten, maken
het concreet en tastbaar.
Soorten operationalisatie:
1. Meetinstrumenten: consistente wijze een variabele te kwantificeren oftewel
representeren in een datareeks van getallen. Constructen worden gemeten met
verschillende items (stimuli), die samen het betreffende construct omvatten.
2. Manipulaties: door het manipuleren van variabelen in een experimenteel
onderzoek kan onderzocht worden of er een causaal verband bestaat tussen
twee variabelen. De manipulaties zijn dus ontwikkeld om een specifiek
construct te beïnvloeden.
1.2
Meetwaarden: mogelijke waarden die behaald kunnen worden bij de operationalisatie.
Reflectief meetmodel: hierin lopen er lijnen van het construct, ook wel de lantente
variabele, naar de indicatoren. Reflectie van onderliggende constructen. De kant waar
de pijl op wijst is belangrijk, gaat de pijl van het construct naar de indicatoren, dan wordt
er veronderstelt dat het construct bepaalt hoe de indicatoren wordt gescoord.
,→ Niet alles kan met reflectief meetmodel onderzocht worden (bv indexvariabelen zoals
sociaal economische status waarbij verschillende zaken bij elkaar worden opgeteld).
Het meetmodel moet altijd het construct bevatten in een ovaal, met alle stimuli in
rechthoeken. De pijl loopt van het construct naar de vragen.
1.3
Perfecte meting is onmogelijk, de imperfectie/ onzuiverheid van metingen worden vaak
omschreven in termen van betrouwbaarheid en validiteit.
Betrouwbaarheid: mate waarin een meting bij herhaling telkens hetzelfde resultaat
oplevert.
Niet-systematische meetfout (ruis): toevallige verstorende invloeden op een
testscore. De niet-systematische meetfout is het complement van de betrouwbaarheid
(meting betrouwbaarder bij minder van deze meetfouten).
Systematische meetfout (bias): geen sprake van toevallige verstoring van het
meetresultaat maar van een systematische vertekening, waardoor iemand bijvoorbeeld
stelselmatig een lagere IQ-score zal halen ivm insomnia.
Validiteit: de mate waarin een meetinstrument meet wat het moet meten.
Causale opvatting van validiteit
1. Het construct bestaat
2. Verschillen tussen (of binnen) mensen op het construct tot verschillende
uitkomsten op het meetinstrument leiden.
Constructvaliditeit: hierbij wordt gekeken in hoeverre interpretaties van testscores
ondersteund worden door theorie en empirisch bewijs voor het gebruik van deze test.
Daarnaast houdt het in dat onderzocht wordt of er samenhang is met andere variabelen
en uitkomsten zoals te verwachten is op basis van theorie en eerder onderzoek.
Validiteit is relatief gemakkelijk te onderzoeken (voordelig).
→ Wanneer de scores van de nieuwe en de oude vragenlijst samenhangen, wordt dit
gezien als evidentie voor de constructvaliditeit. Dit is echter geen voldoende test om te
weten of een meetinstrument het construct meet, causale opvatting van validiteit is dan
toch nodig.
Overige soorten validiteit:
• Indruksvaliditeit: mate waarin het meetinstrument de indruk geeft te meten wat
het zou moeten meten na bestudering van het meetinstrument door een leek of
iemand uit het vakgebied (praktisch).
• Criteriumvaliditeit: mate waarin de uitkomsten van een meetinstrument als
verwacht samenhangen met die op een ander meetinstrument of uitkomstmaat.
(Bv. Intelligentietest hangt samen met schoolcijfers).
, • Externe validiteit: mate waarin de uitkomsten van een studie gegeneraliseerd
kunnen worden naar de doelpopulatie. (Bv. Onderzoek wordt vaak uitgevoerd in
kunstmatige omstandigheden zoals labs, in hoeverre dit geldt buiten
onderzochte context).
• Inhoudsvaliditeit: mate waarin de items van het meetinstrument het gehele
construct omvatten. Een meetinstrument met goede inhoudsvaliditeit moet
verschillende aspecten van een eigenschap omvatten.
Relatie tussen betrouwbaarheid en validiteit: wordt gesteld dat betrouwbaarheid een
noodzakelijke, maar niet voldoende voorwaarde is voor validiteit. Daarmee wordt
bedoeld dat een meetinstrument met een lage betrouwbaarheid nooit valide kan zijn.
Een meetinstrument met hoge betrouwbaarheid kan wel, maar hoeft niet valide te zijn.
Voor elke studie moet opnieuw worden bepaald hoe het zit met betrouwbaarheid en
validiteit voor meetinstrumenten en manipulaties.
Kwantitatief onderzoek: relaties van variabelen te onderzoeken. Aan de hand van
meetinstrumenten en manipulaties worden getallen toegekend aan variabelen. Getallen
vormen datareeksen die worden geanalyseerd met statistische software. Nadeel van
kwantitatief onderzoek: vereist operationalisatie van hoge kwaliteit (betrouwbaar &
valide). Dataverzameling is veel gestandaardiseerd.
