Psychometrie en besliskunde HC 11
Transcriptie HC 11
Criteriumvaliditeit
- Sensitiviteit en specificiteit
- Bayes
- ROC-curve
Dia 1:
Vandaag bespreek ik met jullie criteriumvaliditeit. Criteriumvaliditeit daar heb ik iets over gezegd in
het eerste college. Jullie hebben daar ook over gehoord bij IWO.
Het is een van de soorten van validiteit waarbij je gaat kijken hoe goed kun je met jouw test of toets
een criterium voorspellen. Dan wordt er nog onderscheid gemaakt tussen concurrente validiteit,
waarbij het criterium gelijktijdig is met jouw test, met jouw meting. En dan kun je denken aan het
vergelijken van testscores met een bekende diagnose. Daar gaan we vandaag ook een voorbeeld van
zien. En er is ook predictieve validiteit en dan gaat het om het voorspellen van een criterium in de
toekomst. Bijvoorbeeld het voorspellen van recidive, het voorspellen van succes op school. Vandaag
gaan we zien hoe je dat kunt bepalen.
Sensitiviteit, specificiteit zal ik uitleggen. En daar hebben jullie als het goed is ook eerder van
gehoord. Maar hier in deze cursus leer je ook hoe je die moet berekenen.
Bayes komt voorbij en we gaan zien wat een ROC-curve inhoudt.
Dia 2:
Vaak wil je een test gebruiken om aan te geven of iemand een bepaald probleem heeft of een ziekte
als je het hebt over het medisch domein. En dan gaat het dus om het classificeren van wel of niet
aanwijzing voor een specifiek probleem.
Twee begrippen worden dan vaak gebruikt, sensitiviteit en specificiteit. Sensitiviteit daarvan spreek
je als het gaat over het identificeren van de mensen met het probleem. Dus mensen met een
stoornis. Vind je die mensen ook? Dus de gevoeligheid om problemen waar te nemen.
Specificiteit dat wil zeggen als iemand niet het probleem heeft, niet de stoornis heeft, vind je dan ook
dat iemand dat niet heeft. Dus is zo’n test ook specifiek voor een stoornis en wijst het niet behalve
mensen met een stoornis ook allemaal mensen zonder stoornis aan.
Dus, sensitiviteit, hoe goed identificeert een test de mensen met een probleem.
Specificiteit, hoe goed identificeert een test de mensen zonder probleem, alsook hebbende geen
probleem.
Dia 3:
Hier is een fictief voorbeeld van een test. Je ziet de mensen met een stoornis en zonder stoornis. En
positieve en negatieve testuitslagen. Een positieve testuitslag wil zeggen een testuitslag die duidt op
de aanwezigheid van de stoornis. Een negatieve testuitslag wilt zeggen, de stoornis is niet aanwezig.
Als jullie deze getallen bekijken, vinden jullie dan dat dit een goede test lijkt? Dus die test is
afgenomen bij 1000 mensen, een deel met en zonder stoornis.
1
, Psychometrie en besliskunde HC 11
Waar let je op als je kijkt, is dit nou een goede test? -> of wanneer de stoornis er wel is er een
positieve uitslag is en wanneer de stoornis er niet is er een negatieve uitslag is. Dus dan kijk je naar
de cellen op de diagonaal. 90 mensen die een stoornis hebben krijgen ook een positieve uitslag. En
700 mensen die geen stoornis hebben krijgen een negatieve uitslag. Dat is ook de bedoeling, dat zijn
de juiste uitslagen. Daarnaast moet je ook kijken naar de mensen die geen stoornis hebben maar
toch een positieve uitslag hebben en mensen die wel een stoornis hebben en een negatieve uitslag
kregen.
Stel je voor iemand komt bij jou en je neemt die test af en het resultaat is positief. Wat zal de kans
zijn dat iemand dan ook de stoornis heeft? -> 90/290
Als je wilt beoordelen of zo’n test dan goed kan voorspellen dan moet je alle cellen meenemen. Niet
alleen de plus plus en de min min (diagonaal), maar ook de plus min en de min plus.
Dia 4:
Wat is de prevalentie van de stoornis? We gaan er nu van uit dat dit een steekproef betreft van 1000
mensen die aselect zijn gekozen uit de populatie. Populatie algemene bevolking in NL. Wat is de
prevalentie van de stoornis dan?
Prevalentie is, hoe vaak komt de stoornis voor? Wordt ook wel de base-rate genoemd of de vooraf
kans van de stoornis.
Welk deel van de mensen heeft de stoornis? 100/1000, 10% van de mensen.
Dat noemen we ook wel de vooraf kans op de stoornis. Als je niet van tevoren weet of iemand een
stoornis heeft of niet en je hebt nog niet een test afgenomen, dan is je beste inschatting dat iemand
een stoornis heeft zo vaak als de stoornis voorkomt, een base-rate.
Dia 5:
Wat is de sensitiviteit van deze test? Sensitiviteit was de gevoeligheid om stoornissen waar te
nemen. Sensitiviteit betekend als iemand de stoornis heeft, vind je hem dan ook, krijg je dan een
positieve testuitslag. 100 mensen hebben de stoornis, daarvan krijgen 90 mensen een positieve
uitslag. De sensitiviteit is dan 90/100 = .9 = 90%
Dus voor sensitiviteit kijk je alleen maar naar mensen met een stoornis en hoeveel daarvan een
positieve uitslag krijgen.
Dia 6:
Specificiteit, is de test ook specifiek als iemand geen stoornis heeft vind je dan ook een negatieve
uitslag. Hoe hoog is de specificiteit van deze test? 700/900 = 0.78 = 78%
Dan hebben we dus een sensitiviteit van .9 en een specificiteit van .78, vinden jullie dat goede
waarden? -> best goed.
Algemene vuistregels geven aan dat specificiteit en sensitiviteit van .80 meestal goed wordt
bevonden.
Nog even een vraag voor jullie. Deze 90 van de 100 geeft de sensitiviteit aan. Hoe zou je die 90 dan
ook kunnen noemen? De ware positieve uitslagen, ook wel eens hits genoemd.
2
Transcriptie HC 11
Criteriumvaliditeit
- Sensitiviteit en specificiteit
- Bayes
- ROC-curve
Dia 1:
Vandaag bespreek ik met jullie criteriumvaliditeit. Criteriumvaliditeit daar heb ik iets over gezegd in
het eerste college. Jullie hebben daar ook over gehoord bij IWO.
Het is een van de soorten van validiteit waarbij je gaat kijken hoe goed kun je met jouw test of toets
een criterium voorspellen. Dan wordt er nog onderscheid gemaakt tussen concurrente validiteit,
waarbij het criterium gelijktijdig is met jouw test, met jouw meting. En dan kun je denken aan het
vergelijken van testscores met een bekende diagnose. Daar gaan we vandaag ook een voorbeeld van
zien. En er is ook predictieve validiteit en dan gaat het om het voorspellen van een criterium in de
toekomst. Bijvoorbeeld het voorspellen van recidive, het voorspellen van succes op school. Vandaag
gaan we zien hoe je dat kunt bepalen.
Sensitiviteit, specificiteit zal ik uitleggen. En daar hebben jullie als het goed is ook eerder van
gehoord. Maar hier in deze cursus leer je ook hoe je die moet berekenen.
Bayes komt voorbij en we gaan zien wat een ROC-curve inhoudt.
Dia 2:
Vaak wil je een test gebruiken om aan te geven of iemand een bepaald probleem heeft of een ziekte
als je het hebt over het medisch domein. En dan gaat het dus om het classificeren van wel of niet
aanwijzing voor een specifiek probleem.
Twee begrippen worden dan vaak gebruikt, sensitiviteit en specificiteit. Sensitiviteit daarvan spreek
je als het gaat over het identificeren van de mensen met het probleem. Dus mensen met een
stoornis. Vind je die mensen ook? Dus de gevoeligheid om problemen waar te nemen.
Specificiteit dat wil zeggen als iemand niet het probleem heeft, niet de stoornis heeft, vind je dan ook
dat iemand dat niet heeft. Dus is zo’n test ook specifiek voor een stoornis en wijst het niet behalve
mensen met een stoornis ook allemaal mensen zonder stoornis aan.
Dus, sensitiviteit, hoe goed identificeert een test de mensen met een probleem.
Specificiteit, hoe goed identificeert een test de mensen zonder probleem, alsook hebbende geen
probleem.
Dia 3:
Hier is een fictief voorbeeld van een test. Je ziet de mensen met een stoornis en zonder stoornis. En
positieve en negatieve testuitslagen. Een positieve testuitslag wil zeggen een testuitslag die duidt op
de aanwezigheid van de stoornis. Een negatieve testuitslag wilt zeggen, de stoornis is niet aanwezig.
Als jullie deze getallen bekijken, vinden jullie dan dat dit een goede test lijkt? Dus die test is
afgenomen bij 1000 mensen, een deel met en zonder stoornis.
1
, Psychometrie en besliskunde HC 11
Waar let je op als je kijkt, is dit nou een goede test? -> of wanneer de stoornis er wel is er een
positieve uitslag is en wanneer de stoornis er niet is er een negatieve uitslag is. Dus dan kijk je naar
de cellen op de diagonaal. 90 mensen die een stoornis hebben krijgen ook een positieve uitslag. En
700 mensen die geen stoornis hebben krijgen een negatieve uitslag. Dat is ook de bedoeling, dat zijn
de juiste uitslagen. Daarnaast moet je ook kijken naar de mensen die geen stoornis hebben maar
toch een positieve uitslag hebben en mensen die wel een stoornis hebben en een negatieve uitslag
kregen.
Stel je voor iemand komt bij jou en je neemt die test af en het resultaat is positief. Wat zal de kans
zijn dat iemand dan ook de stoornis heeft? -> 90/290
Als je wilt beoordelen of zo’n test dan goed kan voorspellen dan moet je alle cellen meenemen. Niet
alleen de plus plus en de min min (diagonaal), maar ook de plus min en de min plus.
Dia 4:
Wat is de prevalentie van de stoornis? We gaan er nu van uit dat dit een steekproef betreft van 1000
mensen die aselect zijn gekozen uit de populatie. Populatie algemene bevolking in NL. Wat is de
prevalentie van de stoornis dan?
Prevalentie is, hoe vaak komt de stoornis voor? Wordt ook wel de base-rate genoemd of de vooraf
kans van de stoornis.
Welk deel van de mensen heeft de stoornis? 100/1000, 10% van de mensen.
Dat noemen we ook wel de vooraf kans op de stoornis. Als je niet van tevoren weet of iemand een
stoornis heeft of niet en je hebt nog niet een test afgenomen, dan is je beste inschatting dat iemand
een stoornis heeft zo vaak als de stoornis voorkomt, een base-rate.
Dia 5:
Wat is de sensitiviteit van deze test? Sensitiviteit was de gevoeligheid om stoornissen waar te
nemen. Sensitiviteit betekend als iemand de stoornis heeft, vind je hem dan ook, krijg je dan een
positieve testuitslag. 100 mensen hebben de stoornis, daarvan krijgen 90 mensen een positieve
uitslag. De sensitiviteit is dan 90/100 = .9 = 90%
Dus voor sensitiviteit kijk je alleen maar naar mensen met een stoornis en hoeveel daarvan een
positieve uitslag krijgen.
Dia 6:
Specificiteit, is de test ook specifiek als iemand geen stoornis heeft vind je dan ook een negatieve
uitslag. Hoe hoog is de specificiteit van deze test? 700/900 = 0.78 = 78%
Dan hebben we dus een sensitiviteit van .9 en een specificiteit van .78, vinden jullie dat goede
waarden? -> best goed.
Algemene vuistregels geven aan dat specificiteit en sensitiviteit van .80 meestal goed wordt
bevonden.
Nog even een vraag voor jullie. Deze 90 van de 100 geeft de sensitiviteit aan. Hoe zou je die 90 dan
ook kunnen noemen? De ware positieve uitslagen, ook wel eens hits genoemd.
2
