LES 1: Kwantitatief redeneren
Types onderzoek
Fundamenteel vs toegepast onderzoek
- Fundamenteel onderzoek is gedreven door wetenschappelijke
nieuwsgierigheid zonder directe praktische toepassing op korte
termijn. Voorbeelden zijn linguïstische vragen over de opkomst van
zwakke werkwoordelijke vervoeging in het Germaans of
natuurkundige vragen zoals het bestaan v/h Brout-Englert-Higgs-
boson
- Toegepast onderzoek richt zich op directe nuttige toepassingen,
zoals het ontwikkelen van computationele tools (plagiaatopsporing,
auditieve zelftesten) of het verkrijgen van maatschappelijk relevant
inzicht (bv. over vertaling van administratieve terminologie)
Kwalitatief vs kwantitatief onderzoek
- Kwalitatief onderzoek analyseert data rechtstreeks (bv. diepte-
interviews of literaire analyse). Kwantitatief onderzoek verwerkt
data eerst tot een gestructureerde dataset, vertaalt dit naar cijfers
en analyseert statistisch via grafieken, kaarten en p-waardes
- Dit onderscheid is niet subjectief vs objectief – de keuze hangt af
van je onderzoeksvraag. Combinaties zijn mogelijk, bv. eerst
kwalitatief thema’s identificeren in lezersbrieven en vervolgens
kwantitatief grote aantallen categoriseren voor diachrone
vergelijking
Empirie vs simulatie
- Empirisch onderzoek toont de werkelijkheid (bv. COVID-verspreiding
in Europa vs China). Simulatie toont hoe de werkelijkheid eruit zou
zien volgens een geïmplementeerde theorie (bv. COVID-verspreiding
in een populatie van 200 mensen onder verschillende aannames)
- In de taalkunde: empirie onderzoekt feitelijke taalontwikkeling,
simulatie test of theoretische aannames bepaalde patronen kunnen
verklaren
Experimenteel vs observationeel onderzoek
- Experimenteel onderzoek: de onderzoeker bouwt zelf de setting (bv.
luistertests met gemanipuleerde audio). Observationeel onderzoek:
systematische observaties v/d werkelijkheid met minimale
verstoring (bv. registeranalyse in authentieke taaldata)
- Voordelen:
o Experimenteel: strikte controle over context
, o Observationeel: ecologische validiteit
- Dit is meer een continuüm dan een scherpe tweedeling – enquëtes,
diepte-interviews en panelstudies bevinden zich ergens tussenin
Hypothesetoetsing vs hypothesegeneratie
- Hypothesetoetsing (theorie-gedreven): start met een theorie,
formuleer een hypothese en test deze met data. Voorbeeld: het
complexiteitsprincipe voorspelt dat optionele voorzetsels vaker
gebruikt worden bij complexe constituenten
- Hypothesegeneratie (data-gedreven): start met data, zoek naar
tendensen en ontwikkel vervolgens een theoretische verklaring.
Voorbeeld: analyse v/e diachrone dataset laat zien dat William
Whiston afwijkt v/d algemene trend, wat leidt tot een hypothese
over zijn taalkeuzes doorheen zijn carrière
Belangrijke waarschuwingen
- Type 1-fout risico: test nooit hypotheses met dezelfde data waarmee
ze gegenereerd zijn – dit verhoogt enorm de kans op vals-positieve
resultaten (dit wordt verwarrend “post-hoc theorizing” genoemd)
- Betrouwbaarheid: hypotheses gegenereerd door
hypothesegeneratie zijn minder overtuigend dan hypotheses
bevestigd door hypothesetoetsing
- Big data vs Big Data: “big data” betekent veel maar beheersbare
data; “Big Data” (met hoofdletters) verwijst naar
terrabytes/petabytes die aangepaste technieken vereisen
LES 2: Hypothesetoetsing vs hypothesegeneratie
- Duidelijk onderscheid tussen hypothesegeneratie (hypothese
bedenken op basis van wat je in je data ziet) en hypothesetoetsing
(een vooraf geformuleerde hypothese testen met data). De
kernboodschap is dat hypotheses die enkel achteraf uit data worden
afgeleid doorgaans minder overtuigend zijn dan hypotheses die via
een echte toets bevestigd worden
Waarom hypothesegeneratie minder overtuigend is (als “bewijs”)
- Bij hypothesegeneratie kijk je naar je dataset en kan je
tendensen/patronen ontdekken, zelfs wanneer er in werkelijkheid
“niets aan de hand is”
- Omdat data altijd wat ruis bevat, is er nog steeds een redelijke kans
dat je iets “lijkt” te vinden, zelfs als het effect niet echt bestaat
- Daarna is het vaak gemakkelijk om achteraf een plausibele
verklaring te verzinnen voor wat je gezien hebt (mensen zijn goed in
het construeren van verklaringen die logisch klinken)
, - Bij hypothesetoetsing is het net omgekeerd:
o Als er geen echt effect is, dan is de kans eerder klein dat een
correcte toets je hypothese toch “bevestigt”
o Daarom wordt bevestiging via hypothesetoetsing gezien als
sterker bewijs dan een idee dat je pas na het bekijken v/d data
hebt gevormd
Post-hoc theorizing: wat is het en waarom is het een probleem?
- Post-hoc theorizing is het problematische scenario waarin je:
1. Eerst aan hypothesegeneratie doet:
o Je bekijkt de data en vindt een tendens
o Je bedenkt een aannemelijke verklaring voor die tendens
dit op zich is legitiem (exploratief werken mag)
2. Daarna diezelfde hypothese “toetst” op dezelfde dataset en
beweert dat de data je hypothese bevestigen
dit is niet legitiem, omdat je de tendens al kende: je test
eigenlijk niet meer “onafhankelijk”, en je overschat hoe sterk je
bewijs is
- De explicietie waarschuwing:
o Niet doen: een hypothese toetsen met dezelfde data waarmee
je ze hebt gegenereerd
Hoe vermijd je post-hoc theorizing als je nog geen hypothese
had?
- 2 praktische oplossingen om toch correct te werken wanneer je niet
start met een vooraf vastgelegde hypothese:
1. Exploreren nieuwe data verzamelen dan pas toetsen
o Je gebruikt je 1ste dataset om ideeën/hypotheses te genereren
o Daarna verzamel je nieuwe, onafhankelijke data om de
hypothese te toetsen
o Als de oorspronkelijke tendens toevallig/vals was, is de kans
erg klein dat die opnieuw verschijnt in nieuwe data
2. Dataset opsplitsen in 2 delen (train/test-logica)
o Je splitst je dataset vanaf het begin in 2 delen:
Deel 1: voor hypothesegeneratie (exploratie)
Deel 2: je blijft hiervoor eerst “blind” en gebruikt dit pas
later voor hypothesetoetsing
o Zo blijft de toets op deel 2 onafhankelijk v/h ontdekken v/d
hypothese
Opmerking over simulaties
, - Een simulatie toont niet de werkelijkheid zelf, maar laat zien hoe de
werkelijkheid eruit zou zien volgens de theorie die je in de simulatie
hebt geïmplementeerd
- Maw: simulaties zijn theorie-gedreven modellen, en hun uitkomst is
afhankelijk v/d aannames die je erin stopt
LES 3: Opstellen onderzoeksplan
Doel en opbouw v/e onderzoeksplan
- Hoe je een onderzoeksplan opstelt voor observationeel
hypothesetoetsingsonderzoek. Een standaardopbouw is:
o Literatuurstudie
o Onderzoeksvraag en theoretische hypothese
o Operationalisatie
o Plan voor statistische analyse
- Het onderzoeksplan is dus de brug tussen theorie en data: je
vertrekt vanuit bestaande kennis, formuleert een toetsbare
verwachting, zet die om in meetbare variabelen, en beschrijft hoe je
die verwachting met data gaat evalueren
Onderzoeksvraag en theoretische hypothese
- Je onderzoeksvraag kies je op basis v/d literatuurstudie (of je
bedenkt zelf een vraag die bij de literatuur aansluit). Een
onderzoeksvraag kan verschillende statussen hebben:
o Een vraag die nog niet beantwoord is
o Een vraag die wel al beantwoord is, maar nog niet met de
aanpak die jij wil (bv. omdat er converging of conflicting
evidence is)
o Een vraag die al beantwoord is op dezelfde manier:
replicatieonderzoek
- Voorbeeld uit de les: bij zogenaamde psychologische werkwoorden
onderzoek je wat bepaalt of taalgebruikers eerder:
o Een transitieve argumentsconstructie kiezen
o Een reflexieve argumentstructuur kiezen
- Dit type onderzoek heet een alternantiestudie: je onderzoekt welke
factoren de keuze tussen 2 (of meer) taalkundige varianten
beïnvloeden. Belangrijk hierbij is dat je alleen gevallen opneemt
waarin er echt een keuze is voor de taalproducent
- In het voorbeeld worden 2 semantische rollen onderscheiden:
o De bron: datgene of diegene die de mentale toestand
veroorzaakt
o De ondervinder: diegene die de mentale toestand
ondergaat/ervaart
Types onderzoek
Fundamenteel vs toegepast onderzoek
- Fundamenteel onderzoek is gedreven door wetenschappelijke
nieuwsgierigheid zonder directe praktische toepassing op korte
termijn. Voorbeelden zijn linguïstische vragen over de opkomst van
zwakke werkwoordelijke vervoeging in het Germaans of
natuurkundige vragen zoals het bestaan v/h Brout-Englert-Higgs-
boson
- Toegepast onderzoek richt zich op directe nuttige toepassingen,
zoals het ontwikkelen van computationele tools (plagiaatopsporing,
auditieve zelftesten) of het verkrijgen van maatschappelijk relevant
inzicht (bv. over vertaling van administratieve terminologie)
Kwalitatief vs kwantitatief onderzoek
- Kwalitatief onderzoek analyseert data rechtstreeks (bv. diepte-
interviews of literaire analyse). Kwantitatief onderzoek verwerkt
data eerst tot een gestructureerde dataset, vertaalt dit naar cijfers
en analyseert statistisch via grafieken, kaarten en p-waardes
- Dit onderscheid is niet subjectief vs objectief – de keuze hangt af
van je onderzoeksvraag. Combinaties zijn mogelijk, bv. eerst
kwalitatief thema’s identificeren in lezersbrieven en vervolgens
kwantitatief grote aantallen categoriseren voor diachrone
vergelijking
Empirie vs simulatie
- Empirisch onderzoek toont de werkelijkheid (bv. COVID-verspreiding
in Europa vs China). Simulatie toont hoe de werkelijkheid eruit zou
zien volgens een geïmplementeerde theorie (bv. COVID-verspreiding
in een populatie van 200 mensen onder verschillende aannames)
- In de taalkunde: empirie onderzoekt feitelijke taalontwikkeling,
simulatie test of theoretische aannames bepaalde patronen kunnen
verklaren
Experimenteel vs observationeel onderzoek
- Experimenteel onderzoek: de onderzoeker bouwt zelf de setting (bv.
luistertests met gemanipuleerde audio). Observationeel onderzoek:
systematische observaties v/d werkelijkheid met minimale
verstoring (bv. registeranalyse in authentieke taaldata)
- Voordelen:
o Experimenteel: strikte controle over context
, o Observationeel: ecologische validiteit
- Dit is meer een continuüm dan een scherpe tweedeling – enquëtes,
diepte-interviews en panelstudies bevinden zich ergens tussenin
Hypothesetoetsing vs hypothesegeneratie
- Hypothesetoetsing (theorie-gedreven): start met een theorie,
formuleer een hypothese en test deze met data. Voorbeeld: het
complexiteitsprincipe voorspelt dat optionele voorzetsels vaker
gebruikt worden bij complexe constituenten
- Hypothesegeneratie (data-gedreven): start met data, zoek naar
tendensen en ontwikkel vervolgens een theoretische verklaring.
Voorbeeld: analyse v/e diachrone dataset laat zien dat William
Whiston afwijkt v/d algemene trend, wat leidt tot een hypothese
over zijn taalkeuzes doorheen zijn carrière
Belangrijke waarschuwingen
- Type 1-fout risico: test nooit hypotheses met dezelfde data waarmee
ze gegenereerd zijn – dit verhoogt enorm de kans op vals-positieve
resultaten (dit wordt verwarrend “post-hoc theorizing” genoemd)
- Betrouwbaarheid: hypotheses gegenereerd door
hypothesegeneratie zijn minder overtuigend dan hypotheses
bevestigd door hypothesetoetsing
- Big data vs Big Data: “big data” betekent veel maar beheersbare
data; “Big Data” (met hoofdletters) verwijst naar
terrabytes/petabytes die aangepaste technieken vereisen
LES 2: Hypothesetoetsing vs hypothesegeneratie
- Duidelijk onderscheid tussen hypothesegeneratie (hypothese
bedenken op basis van wat je in je data ziet) en hypothesetoetsing
(een vooraf geformuleerde hypothese testen met data). De
kernboodschap is dat hypotheses die enkel achteraf uit data worden
afgeleid doorgaans minder overtuigend zijn dan hypotheses die via
een echte toets bevestigd worden
Waarom hypothesegeneratie minder overtuigend is (als “bewijs”)
- Bij hypothesegeneratie kijk je naar je dataset en kan je
tendensen/patronen ontdekken, zelfs wanneer er in werkelijkheid
“niets aan de hand is”
- Omdat data altijd wat ruis bevat, is er nog steeds een redelijke kans
dat je iets “lijkt” te vinden, zelfs als het effect niet echt bestaat
- Daarna is het vaak gemakkelijk om achteraf een plausibele
verklaring te verzinnen voor wat je gezien hebt (mensen zijn goed in
het construeren van verklaringen die logisch klinken)
, - Bij hypothesetoetsing is het net omgekeerd:
o Als er geen echt effect is, dan is de kans eerder klein dat een
correcte toets je hypothese toch “bevestigt”
o Daarom wordt bevestiging via hypothesetoetsing gezien als
sterker bewijs dan een idee dat je pas na het bekijken v/d data
hebt gevormd
Post-hoc theorizing: wat is het en waarom is het een probleem?
- Post-hoc theorizing is het problematische scenario waarin je:
1. Eerst aan hypothesegeneratie doet:
o Je bekijkt de data en vindt een tendens
o Je bedenkt een aannemelijke verklaring voor die tendens
dit op zich is legitiem (exploratief werken mag)
2. Daarna diezelfde hypothese “toetst” op dezelfde dataset en
beweert dat de data je hypothese bevestigen
dit is niet legitiem, omdat je de tendens al kende: je test
eigenlijk niet meer “onafhankelijk”, en je overschat hoe sterk je
bewijs is
- De explicietie waarschuwing:
o Niet doen: een hypothese toetsen met dezelfde data waarmee
je ze hebt gegenereerd
Hoe vermijd je post-hoc theorizing als je nog geen hypothese
had?
- 2 praktische oplossingen om toch correct te werken wanneer je niet
start met een vooraf vastgelegde hypothese:
1. Exploreren nieuwe data verzamelen dan pas toetsen
o Je gebruikt je 1ste dataset om ideeën/hypotheses te genereren
o Daarna verzamel je nieuwe, onafhankelijke data om de
hypothese te toetsen
o Als de oorspronkelijke tendens toevallig/vals was, is de kans
erg klein dat die opnieuw verschijnt in nieuwe data
2. Dataset opsplitsen in 2 delen (train/test-logica)
o Je splitst je dataset vanaf het begin in 2 delen:
Deel 1: voor hypothesegeneratie (exploratie)
Deel 2: je blijft hiervoor eerst “blind” en gebruikt dit pas
later voor hypothesetoetsing
o Zo blijft de toets op deel 2 onafhankelijk v/h ontdekken v/d
hypothese
Opmerking over simulaties
, - Een simulatie toont niet de werkelijkheid zelf, maar laat zien hoe de
werkelijkheid eruit zou zien volgens de theorie die je in de simulatie
hebt geïmplementeerd
- Maw: simulaties zijn theorie-gedreven modellen, en hun uitkomst is
afhankelijk v/d aannames die je erin stopt
LES 3: Opstellen onderzoeksplan
Doel en opbouw v/e onderzoeksplan
- Hoe je een onderzoeksplan opstelt voor observationeel
hypothesetoetsingsonderzoek. Een standaardopbouw is:
o Literatuurstudie
o Onderzoeksvraag en theoretische hypothese
o Operationalisatie
o Plan voor statistische analyse
- Het onderzoeksplan is dus de brug tussen theorie en data: je
vertrekt vanuit bestaande kennis, formuleert een toetsbare
verwachting, zet die om in meetbare variabelen, en beschrijft hoe je
die verwachting met data gaat evalueren
Onderzoeksvraag en theoretische hypothese
- Je onderzoeksvraag kies je op basis v/d literatuurstudie (of je
bedenkt zelf een vraag die bij de literatuur aansluit). Een
onderzoeksvraag kan verschillende statussen hebben:
o Een vraag die nog niet beantwoord is
o Een vraag die wel al beantwoord is, maar nog niet met de
aanpak die jij wil (bv. omdat er converging of conflicting
evidence is)
o Een vraag die al beantwoord is op dezelfde manier:
replicatieonderzoek
- Voorbeeld uit de les: bij zogenaamde psychologische werkwoorden
onderzoek je wat bepaalt of taalgebruikers eerder:
o Een transitieve argumentsconstructie kiezen
o Een reflexieve argumentstructuur kiezen
- Dit type onderzoek heet een alternantiestudie: je onderzoekt welke
factoren de keuze tussen 2 (of meer) taalkundige varianten
beïnvloeden. Belangrijk hierbij is dat je alleen gevallen opneemt
waarin er echt een keuze is voor de taalproducent
- In het voorbeeld worden 2 semantische rollen onderscheiden:
o De bron: datgene of diegene die de mentale toestand
veroorzaakt
o De ondervinder: diegene die de mentale toestand
ondergaat/ervaart
