Hoorcollege 1
Onderzoeksmethoden → verwijzen naar de collectie van handvatten (tools), om de
ideeën die je hebt over hoe de werkelijkheid in elkaar zit zo accuraat mogelijk te
testen → die ideeën te kunnen vernieuwen door rationele en empirische middelen
Theorie = Reeks van uitspraken op hoog niveau die beschrijven hoe constructen/variabelen
zich tot elkaar verhouden op basis van eerdere observaties
● Componenten van ‘goede’ theorieën
- Assumpties (vaak impliciet bv: dat je er vanuit gaat dat participant jouw
vragen begrijpt, omdat hij dezelfde sociaal-culturele achtergrond heeft)
- Variabelen = Constructen
● Conceptueel → abstract (= kan niet direct gemeten worden)
● Geoperationaliseerd → concreet (= kan wel direct gemeten
worden)
- Proposities → relaties tussen variabelen (= hoe het een de ander
beïnvloed)
● Criteria van ‘goede’ theorieën
- Logisch consistent
- Falsifieerbaar
- In overeenstemming met gegevens
- Duidelijk (specifiek)
- Spaarzaam (parsimonious)
- Consistent met andere theorieën
- Nuttig/voorspellend (fertile)
Verschil tussen een theorie en een hypothese
● Theorieën beschrijven relaties, die je al weet/ hebt geobserveerd →
conceptueel
● Hypotheses beschrijven hypothetische relaties, die nog niet getest zijn →
geoperationaliseerd
In een onderzoek, testen we hypotheses over operationele definities via:
● Onafhankelijke / afhankelijke variabele
● Afhankelijke / response variabele
● Mediërende variabele → verklaart relatie
- bv: leraar → motivatie (‘echte’ oorzaak) → hogere
cijfers
- een betere leerkracht zorgt voor een hogere motivatie
en daarmee hogere cijfers
● Modererende variabele →verandert relatie (zonder geen relatie)
, - bv: intelligentie (oorzaak) → motivatie (moderator) → hogere cijfers
(effect)
- zonder motivatie geen correlatie
Hoorcollege 2
Let op de relatie tussen claims en bevindingen:
Validiteit
- Interne validiteit → houdt de oorzaak-gevolg relatie stand, of zijn er
nog andere verklaringen?
- Constructvaliditeit → dekken de operationalisaties het construct wat
men beoogt te meten?
- Statistische validiteit → of de statistiek de claim die je maakt goed
onderbouwd
- Externe validiteit → zijn de resultaten generaliseerbaar?
● zijn de resultaten accuraat en objectief?
● zijn de resultaten belangrijk?
Van een onderzoeksvraag naar een onderzoekshypothese → waarbij hypotheses
geoperationaliseerd (meetbaar wordt gemaakt)
bv: onderzoeksvraag: wat is de relatie tussen de kwaliteit van een docent en cijfers van
studenten?
● FOUTE onderzoekshypothese 📛: Betere docenten zorgen voor betere cijfers, maar
uhm...
● GOEDE onderzoekshypothese✅: Vakken die gebruik maken van docenten die
hun basisopleiding Didactisch Kwalificatie (BKO) hebben afgerond, leveren
studenten op met hogere cijfers / minder onvoldoendes in die vakken (of andere
maatstaven)
Harking = Wanneer onderzoekers hun data inspecteren om ‘interessante patronen’ te
vinden, en vervolgens in een publicatie doen alsof ze hypothesen hadden over deze
patronen DUS het opstellen van hypotheses nadat de resultaten bekend zijn.
Replicatie crisis = wanneer onderzoekers hun resultaten rapporteren in de literatuur en doen
alsof die daadwerkelijk significante effecten zijn. Echter zitten er veel vals-positieve
resultaten bij waardoor veel onderzoek niet repliceerbaar is.
Hoe voorkom je dit?
● hypotheses van tevoren vast te leggen
● Pre-registratie = formalisatie door je experimentele design, hypotheses en analyse
plan voor dat je je onderzoek toetst te publiceren
● Pre-registratie zorgt voor het minimaliseren van je QRP’s (questionable research
practices):
- HARK-ing
- P-hacking (= het blijven uitvoeren van statistische toetsen waarbij je kleine
aanpassingen maakt of proefpersonen blijft toevoegen, totdat je een
significant resultaat krijgt)
, - Publication bias (= met een grotere effectgrootte vind je eerder een
significant effect en mag je eerder publiceren)
- Geef altijd duidelijk aan wanneer analyses niet gepland waren (geef aan
wanneer analyses verkennend zijn)
- Geen post-hoc dataselectie met de eigen hypothese in gedachten
(nooit dezelfde gegevens gebruiken voor dataselectie en hypothesetesten)
- Niet optioneel stoppen (HC 7) (geen pieken bij p-waarden en het
verzamelen van meer gegevens indien niet significant)
- Geen selectieve rapportage van resultaten / voorwaarden / afhankelijke
variabelen (alleen significante afhankelijke variabelen rapporteren en andere
weggooien zonder ze te rapporteren)
Niet altijd haalbaar, MAAR hypothesen moeten altijd worden gespecificeerd voordat je
gepland onderzoek uitvoert!
Exploratief onderzoek → achteraf Confirmatief onderzoek → vooraf
Hypotheses genereren Hypotheses testen
Resultaten moeten worden Resultaten moeten voldoen aan hoge
gerepliceerd/bevestigd standaarden
Minimaliseren van vals negatieven (om Minimaliseren van vals positieven
onverwachte ontdekkingen te vinden)
P-waardes verliezen diagnostische waarde P-waardes behouden diagnostische waarde
(slechte statistische validiteit) (goede statistische validiteit)
Niet nuttig voor het maken van conclusies Er kunnen conclusies worden getrokken
naar bredere populatie (geen externe over een bredere populatie (externe
validiteit) validiteit)
Soorten surveys/vragenlijsten
● Descriptief → schatten van de populatie parameter
- Census (= bevolking wordt ondervraagd), opinion polls
- Vaak als resultaat → frequency of associatie claims
● Testen → testen van een hypothese
- kan een gemeten variabele van het construct bevatten:
- verklarende (explanatory) variabelen & respons variabelen
- kan ook manipulatie bevatten → deze variabelen noemen
we onafhankelijk & afhankelijk
- Vaak (niet altijd) als resultaat (causaliteit is wel essentieel!) →
causale claims
Wanneer er niks wordt gemanipuleerd is het lastig om een causaal verband te leggen, want
roken en stress kan een slechte nachtrust veroorzaken
Onderzoeksmethoden → verwijzen naar de collectie van handvatten (tools), om de
ideeën die je hebt over hoe de werkelijkheid in elkaar zit zo accuraat mogelijk te
testen → die ideeën te kunnen vernieuwen door rationele en empirische middelen
Theorie = Reeks van uitspraken op hoog niveau die beschrijven hoe constructen/variabelen
zich tot elkaar verhouden op basis van eerdere observaties
● Componenten van ‘goede’ theorieën
- Assumpties (vaak impliciet bv: dat je er vanuit gaat dat participant jouw
vragen begrijpt, omdat hij dezelfde sociaal-culturele achtergrond heeft)
- Variabelen = Constructen
● Conceptueel → abstract (= kan niet direct gemeten worden)
● Geoperationaliseerd → concreet (= kan wel direct gemeten
worden)
- Proposities → relaties tussen variabelen (= hoe het een de ander
beïnvloed)
● Criteria van ‘goede’ theorieën
- Logisch consistent
- Falsifieerbaar
- In overeenstemming met gegevens
- Duidelijk (specifiek)
- Spaarzaam (parsimonious)
- Consistent met andere theorieën
- Nuttig/voorspellend (fertile)
Verschil tussen een theorie en een hypothese
● Theorieën beschrijven relaties, die je al weet/ hebt geobserveerd →
conceptueel
● Hypotheses beschrijven hypothetische relaties, die nog niet getest zijn →
geoperationaliseerd
In een onderzoek, testen we hypotheses over operationele definities via:
● Onafhankelijke / afhankelijke variabele
● Afhankelijke / response variabele
● Mediërende variabele → verklaart relatie
- bv: leraar → motivatie (‘echte’ oorzaak) → hogere
cijfers
- een betere leerkracht zorgt voor een hogere motivatie
en daarmee hogere cijfers
● Modererende variabele →verandert relatie (zonder geen relatie)
, - bv: intelligentie (oorzaak) → motivatie (moderator) → hogere cijfers
(effect)
- zonder motivatie geen correlatie
Hoorcollege 2
Let op de relatie tussen claims en bevindingen:
Validiteit
- Interne validiteit → houdt de oorzaak-gevolg relatie stand, of zijn er
nog andere verklaringen?
- Constructvaliditeit → dekken de operationalisaties het construct wat
men beoogt te meten?
- Statistische validiteit → of de statistiek de claim die je maakt goed
onderbouwd
- Externe validiteit → zijn de resultaten generaliseerbaar?
● zijn de resultaten accuraat en objectief?
● zijn de resultaten belangrijk?
Van een onderzoeksvraag naar een onderzoekshypothese → waarbij hypotheses
geoperationaliseerd (meetbaar wordt gemaakt)
bv: onderzoeksvraag: wat is de relatie tussen de kwaliteit van een docent en cijfers van
studenten?
● FOUTE onderzoekshypothese 📛: Betere docenten zorgen voor betere cijfers, maar
uhm...
● GOEDE onderzoekshypothese✅: Vakken die gebruik maken van docenten die
hun basisopleiding Didactisch Kwalificatie (BKO) hebben afgerond, leveren
studenten op met hogere cijfers / minder onvoldoendes in die vakken (of andere
maatstaven)
Harking = Wanneer onderzoekers hun data inspecteren om ‘interessante patronen’ te
vinden, en vervolgens in een publicatie doen alsof ze hypothesen hadden over deze
patronen DUS het opstellen van hypotheses nadat de resultaten bekend zijn.
Replicatie crisis = wanneer onderzoekers hun resultaten rapporteren in de literatuur en doen
alsof die daadwerkelijk significante effecten zijn. Echter zitten er veel vals-positieve
resultaten bij waardoor veel onderzoek niet repliceerbaar is.
Hoe voorkom je dit?
● hypotheses van tevoren vast te leggen
● Pre-registratie = formalisatie door je experimentele design, hypotheses en analyse
plan voor dat je je onderzoek toetst te publiceren
● Pre-registratie zorgt voor het minimaliseren van je QRP’s (questionable research
practices):
- HARK-ing
- P-hacking (= het blijven uitvoeren van statistische toetsen waarbij je kleine
aanpassingen maakt of proefpersonen blijft toevoegen, totdat je een
significant resultaat krijgt)
, - Publication bias (= met een grotere effectgrootte vind je eerder een
significant effect en mag je eerder publiceren)
- Geef altijd duidelijk aan wanneer analyses niet gepland waren (geef aan
wanneer analyses verkennend zijn)
- Geen post-hoc dataselectie met de eigen hypothese in gedachten
(nooit dezelfde gegevens gebruiken voor dataselectie en hypothesetesten)
- Niet optioneel stoppen (HC 7) (geen pieken bij p-waarden en het
verzamelen van meer gegevens indien niet significant)
- Geen selectieve rapportage van resultaten / voorwaarden / afhankelijke
variabelen (alleen significante afhankelijke variabelen rapporteren en andere
weggooien zonder ze te rapporteren)
Niet altijd haalbaar, MAAR hypothesen moeten altijd worden gespecificeerd voordat je
gepland onderzoek uitvoert!
Exploratief onderzoek → achteraf Confirmatief onderzoek → vooraf
Hypotheses genereren Hypotheses testen
Resultaten moeten worden Resultaten moeten voldoen aan hoge
gerepliceerd/bevestigd standaarden
Minimaliseren van vals negatieven (om Minimaliseren van vals positieven
onverwachte ontdekkingen te vinden)
P-waardes verliezen diagnostische waarde P-waardes behouden diagnostische waarde
(slechte statistische validiteit) (goede statistische validiteit)
Niet nuttig voor het maken van conclusies Er kunnen conclusies worden getrokken
naar bredere populatie (geen externe over een bredere populatie (externe
validiteit) validiteit)
Soorten surveys/vragenlijsten
● Descriptief → schatten van de populatie parameter
- Census (= bevolking wordt ondervraagd), opinion polls
- Vaak als resultaat → frequency of associatie claims
● Testen → testen van een hypothese
- kan een gemeten variabele van het construct bevatten:
- verklarende (explanatory) variabelen & respons variabelen
- kan ook manipulatie bevatten → deze variabelen noemen
we onafhankelijk & afhankelijk
- Vaak (niet altijd) als resultaat (causaliteit is wel essentieel!) →
causale claims
Wanneer er niks wordt gemanipuleerd is het lastig om een causaal verband te leggen, want
roken en stress kan een slechte nachtrust veroorzaken
