1
Samenvatting Onderzoekspraktijk
Hoorcollege 1
Artikel A1: case studies
Drie ingrediënten:
1. Om kunnen gaan met verschillend bewijs
- Mogelijke cases: individuen, organisatie, landen groepen, patiënten, interactievromen, beslissingen,
projecten, nieuwe lesmethode, onderzoeksopzet etc.
- Soorten bewijs: documenten, archieven, interviews, directe observatie, participant observatie en fysieke
artefacten (vanuit fysieke omgeving gedrag afleiden)
2. Kunnen stellen van onderzoeksvragen en hypothesen
- Hoe en waarom-vragen: waarom gebeurt iets en hoe is iets tot stand gekomen verschil experiment
o In overeenstemming experimenten: gericht op theorieontwikkeling
3. Produceren van een onderzoeksdesign
- Exploratief (verkennend) = nog geen theorie of methodologische innovaties uitproberen
- Verklarend = theorie toetsen
- Beschrijvend = eerste cases van bepaalde ziektegevallen
- Hollistic = case vindt altijd plaats in een bepaalde context en deze context wordt ook daarin
meegenomen
o Main unit of analysis
- Embedded = case heeft meerdere embedded units bijvoorbeeld verschillende locaties
o Subunits of analysis: kunnen verschillend methoden bevatten
Generalisatie
- Analytische generalisatie = enkele individuele cases gebruiken om de theorie te illustreren,
representeren of generaliseren
o Statistische generalisatie = generaliseren van een steekproef naar de populatie
- Letterlijke replicatie = meerdere cases zijn ontworpen om elkaar te 'repliceren', waardoor bevestigend
bewijs wordt geproduceerd uit twee of meer gevallen
o Theoretische replicatie = meerdere cases ontworpen om verschillende theoretische
omstandigheden te dekken, wat contrasterende resultaten opleverde maar om voorspelbare
redenen
- Systematische generalisatie = direct iets over de theorie willen zeggen (grenzen theorie opzoeken)
overeenstemming met experimenten
o Directe generalisatie = onderzoek ergens anders doen
Bewaken kwaliteit
- Construct validiteit = meerdere bronnen van bewijs aangedragen
o Via triangulatie = verschillende bronnen (minstens drie) waar hetzelfde uitkomt
o Chain of evidence = vind je theoretische voorspelde opvolging van gebeurtenissen terug
- Interne validiteit = past het verwachte theoretische patroon alternatieve verklaringen uitsluiten
- Externe validiteit: replicatie van belang gebruiken rivaliserende theorieën
o Is het gevonden proces ook ergens anders te vinden?
- Betrouwbaarheid = gebruiken van case studie protocol en ontwikkelen database
Testgebruik H9
Waarden testen:
- Wetenschappelijk waarde tests: hangt af van wetenschappelijk belang hypothetisch begrip
- Praktisch waarde tests: hangt af van bijdrage aan oplossing praktisch probleem
o Praktische waarde (nut) bepaald in vergelijking met situatie waarin test niet voorhanden is
Taxonomie van beslissingen
- Soorten beslissingen: institutioneel (beslissing voor je gemaakt) en individu (zelf
beslissingen)
- Verschil univariaat en multivariaat: verschil in niveaus of verschillen in kwaliteit
- Voorbeelden:
o Selectie: wordt een student toegelaten tot de opleiding?
o Plaatsing (niveau): wordt een student geplaatst in hoog, middel of laag niveau?
, 2
o Plaatsing (soort): wordt een jongere toegewezen aan behandeling a, b of c?
o Ja-nee keuze: kiest een student voor de opleiding?
o Niveaukeuze: kiest een student voor hoog, middel of laag niveau?
o Soortkeuze: kiest de student voor de UvA, VU of UU?
Enkelvoudige selectiemodel: verticaal een kritische testscore en horizontaal kritische criteriumscore:
test gebruiken of iemand het criterium zou halen
- Horizontaal geeft aan of je wel aan het criterium voldoet (bovenaan) of niet (daaronder)
- Verticaal geeft aan of de uitslag van de test negatief (links) of positief (rechts) is
Ratio’s
- A, B, C, D
o False negative (A): onterecht afgewezen positieve missers (na selecte geschikt)
o True positive (B): terecht toegelaten positieve treffers
o True negative (C): terecht afgewezen negatieve treffers (na selectie niet geschikt)
o False positive (D): onterecht toegelaten negatieve missers
- Selectieratio: proportie toegelaten studenten = (B + D)/ totaal
o Hoe meer afgewezen, hoe groter de breuk B / (B+D)
- Base rate (toevalskans): proportie studenten dat meer dan 43 ECs haalt = (A + B)/ totaal
- Succesratio: proportie van toegelaten studenten dat terecht is toegelaten = B/ (B + D)
Validiteit = correlatie tussen de (dichotome) testscore en criteriumscore
( B∗C ) −( A∗D )
- Validiteitscoëfficient =
√( A+C)( B+ D)( A+ B)(C+ D )
- Effect van validiteit op de succesratio
o Validiteit groter B en C groter en A en D kleiner toename succesratio
Blauwe groep: succesratio is hoger
o Des te meer de puntenwolk een rechte lijn is, des te hoger de correlatie
Base-rate = aantal geschikte kandidaten in de populatie
- Base-rate groter B groter t.o.v. D toename succesratio
o Blauwe groep: base-rate hoger, omdat oppervlakte boven de criteriumscore groter is
o Blauwe groep: succesrate groter, omdat verhouding B vs D hoger is als de base rate hoger is
- Criteriumscore zakt base rate omhoog succesratio omhoog
o Blauwe groep: base rate hoger, omdat het oppervlakte boven de blauwe lijn groter is
Veel toegelaten respondenten blijken toch ongeschikt (false positive) = D
- Lage validiteit (zelfs negatief): test heeft geen toegevoegde waarde
- Lage base-rate: als iets heel zeldzaam is dan heeft selecteren bijna geen zin
- Hoge selectieratio: gedwongen om toch bijna iedereen toe te laten, test geen
toegevoegde waarde
Relatie tussen succesratio, validiteit, selectieratio en base-rate:
- Taylor-Russel tabel: geeft aan wat de verwachte succesratio is o.b.v. een specifieke combinatie van een
selectie ratio, base-rate en validiteit
- Een selectieprocedure (test) heeft alleen toegevoegde waarde als je succes-rate hoger is dan je base-rate
o Selectie achterwegen houden en dan iedereen aanhouden succesratio = baserate
Validiteit = 0: succesratio = base-rate
o Als de selectieratio toeneemt, komt de succesratio dicht bij de base-rate
Utiliteit = nut van bepaalde uitkomst in de vier cellen, vaak uitgedrukt in gewichten of geld
Enkelvoudige met twee tests
- Conjuctief (a): geen compensatie mogelijk = X1 > c1 en X2 > c2
o Opdracht en tentamen moeten beiden voldoende zijn
- Compensatorisch (b): wel compensatie = X1 + X2 > c
o Gemiddelde van opdracht en tentamen moet voldoende zijn
- Combinatie van beiden (c)
Samenvatting Onderzoekspraktijk
Hoorcollege 1
Artikel A1: case studies
Drie ingrediënten:
1. Om kunnen gaan met verschillend bewijs
- Mogelijke cases: individuen, organisatie, landen groepen, patiënten, interactievromen, beslissingen,
projecten, nieuwe lesmethode, onderzoeksopzet etc.
- Soorten bewijs: documenten, archieven, interviews, directe observatie, participant observatie en fysieke
artefacten (vanuit fysieke omgeving gedrag afleiden)
2. Kunnen stellen van onderzoeksvragen en hypothesen
- Hoe en waarom-vragen: waarom gebeurt iets en hoe is iets tot stand gekomen verschil experiment
o In overeenstemming experimenten: gericht op theorieontwikkeling
3. Produceren van een onderzoeksdesign
- Exploratief (verkennend) = nog geen theorie of methodologische innovaties uitproberen
- Verklarend = theorie toetsen
- Beschrijvend = eerste cases van bepaalde ziektegevallen
- Hollistic = case vindt altijd plaats in een bepaalde context en deze context wordt ook daarin
meegenomen
o Main unit of analysis
- Embedded = case heeft meerdere embedded units bijvoorbeeld verschillende locaties
o Subunits of analysis: kunnen verschillend methoden bevatten
Generalisatie
- Analytische generalisatie = enkele individuele cases gebruiken om de theorie te illustreren,
representeren of generaliseren
o Statistische generalisatie = generaliseren van een steekproef naar de populatie
- Letterlijke replicatie = meerdere cases zijn ontworpen om elkaar te 'repliceren', waardoor bevestigend
bewijs wordt geproduceerd uit twee of meer gevallen
o Theoretische replicatie = meerdere cases ontworpen om verschillende theoretische
omstandigheden te dekken, wat contrasterende resultaten opleverde maar om voorspelbare
redenen
- Systematische generalisatie = direct iets over de theorie willen zeggen (grenzen theorie opzoeken)
overeenstemming met experimenten
o Directe generalisatie = onderzoek ergens anders doen
Bewaken kwaliteit
- Construct validiteit = meerdere bronnen van bewijs aangedragen
o Via triangulatie = verschillende bronnen (minstens drie) waar hetzelfde uitkomt
o Chain of evidence = vind je theoretische voorspelde opvolging van gebeurtenissen terug
- Interne validiteit = past het verwachte theoretische patroon alternatieve verklaringen uitsluiten
- Externe validiteit: replicatie van belang gebruiken rivaliserende theorieën
o Is het gevonden proces ook ergens anders te vinden?
- Betrouwbaarheid = gebruiken van case studie protocol en ontwikkelen database
Testgebruik H9
Waarden testen:
- Wetenschappelijk waarde tests: hangt af van wetenschappelijk belang hypothetisch begrip
- Praktisch waarde tests: hangt af van bijdrage aan oplossing praktisch probleem
o Praktische waarde (nut) bepaald in vergelijking met situatie waarin test niet voorhanden is
Taxonomie van beslissingen
- Soorten beslissingen: institutioneel (beslissing voor je gemaakt) en individu (zelf
beslissingen)
- Verschil univariaat en multivariaat: verschil in niveaus of verschillen in kwaliteit
- Voorbeelden:
o Selectie: wordt een student toegelaten tot de opleiding?
o Plaatsing (niveau): wordt een student geplaatst in hoog, middel of laag niveau?
, 2
o Plaatsing (soort): wordt een jongere toegewezen aan behandeling a, b of c?
o Ja-nee keuze: kiest een student voor de opleiding?
o Niveaukeuze: kiest een student voor hoog, middel of laag niveau?
o Soortkeuze: kiest de student voor de UvA, VU of UU?
Enkelvoudige selectiemodel: verticaal een kritische testscore en horizontaal kritische criteriumscore:
test gebruiken of iemand het criterium zou halen
- Horizontaal geeft aan of je wel aan het criterium voldoet (bovenaan) of niet (daaronder)
- Verticaal geeft aan of de uitslag van de test negatief (links) of positief (rechts) is
Ratio’s
- A, B, C, D
o False negative (A): onterecht afgewezen positieve missers (na selecte geschikt)
o True positive (B): terecht toegelaten positieve treffers
o True negative (C): terecht afgewezen negatieve treffers (na selectie niet geschikt)
o False positive (D): onterecht toegelaten negatieve missers
- Selectieratio: proportie toegelaten studenten = (B + D)/ totaal
o Hoe meer afgewezen, hoe groter de breuk B / (B+D)
- Base rate (toevalskans): proportie studenten dat meer dan 43 ECs haalt = (A + B)/ totaal
- Succesratio: proportie van toegelaten studenten dat terecht is toegelaten = B/ (B + D)
Validiteit = correlatie tussen de (dichotome) testscore en criteriumscore
( B∗C ) −( A∗D )
- Validiteitscoëfficient =
√( A+C)( B+ D)( A+ B)(C+ D )
- Effect van validiteit op de succesratio
o Validiteit groter B en C groter en A en D kleiner toename succesratio
Blauwe groep: succesratio is hoger
o Des te meer de puntenwolk een rechte lijn is, des te hoger de correlatie
Base-rate = aantal geschikte kandidaten in de populatie
- Base-rate groter B groter t.o.v. D toename succesratio
o Blauwe groep: base-rate hoger, omdat oppervlakte boven de criteriumscore groter is
o Blauwe groep: succesrate groter, omdat verhouding B vs D hoger is als de base rate hoger is
- Criteriumscore zakt base rate omhoog succesratio omhoog
o Blauwe groep: base rate hoger, omdat het oppervlakte boven de blauwe lijn groter is
Veel toegelaten respondenten blijken toch ongeschikt (false positive) = D
- Lage validiteit (zelfs negatief): test heeft geen toegevoegde waarde
- Lage base-rate: als iets heel zeldzaam is dan heeft selecteren bijna geen zin
- Hoge selectieratio: gedwongen om toch bijna iedereen toe te laten, test geen
toegevoegde waarde
Relatie tussen succesratio, validiteit, selectieratio en base-rate:
- Taylor-Russel tabel: geeft aan wat de verwachte succesratio is o.b.v. een specifieke combinatie van een
selectie ratio, base-rate en validiteit
- Een selectieprocedure (test) heeft alleen toegevoegde waarde als je succes-rate hoger is dan je base-rate
o Selectie achterwegen houden en dan iedereen aanhouden succesratio = baserate
Validiteit = 0: succesratio = base-rate
o Als de selectieratio toeneemt, komt de succesratio dicht bij de base-rate
Utiliteit = nut van bepaalde uitkomst in de vier cellen, vaak uitgedrukt in gewichten of geld
Enkelvoudige met twee tests
- Conjuctief (a): geen compensatie mogelijk = X1 > c1 en X2 > c2
o Opdracht en tentamen moeten beiden voldoende zijn
- Compensatorisch (b): wel compensatie = X1 + X2 > c
o Gemiddelde van opdracht en tentamen moet voldoende zijn
- Combinatie van beiden (c)
