Psychometrie en besliskunde HC 7
Transcriptie HC 7
Interbeoordelaars-overeenstemming
bij data van nominaal en ordinaal meetniveau
Dia 1:
We maken een switch van betrouwbaarheid over meetinstrumenten naar observaties.
Dia 2:
Interbeoordelaarsovereenstemming. Waar hebben we het dan over? Mensen die ergens naar kijken,
die ergens een classificatie, een oordeel over geven. In principe is dat gebaseerd op een systeem. Dus
je hebt een aantal categorieën waar je naar kijkt. In ons vakgebied is het gedrag, spel, thuissituatie,
op school. Dan heb je meestal een aantal categorieën voor ogen waar je naar kijkt en waar je mee
wilt scoren. Afhankelijk van het type data dat je hebt kun je bepaalde maten gebruiken, berekenen
en andere weer niet.
Voor de pauze hebben we het over nominale en ordinale data. Na de pauze interval data.
Wat zeggen je intuïtief, wat bepaald dat een observatie goed verloopt? En dat er ook een hoge mate
van overeenstemming tussen mensen zal zijn?
-> hetzelfde meetinstrument
-> dekkend meetinstrument
-> categorieën nauwkeurig beschreven
-> de mensen zelf. Voorbereid, getraind
Dia 4:
Hoge mate van overeenstemming.
-> als je daar een cijfertje aan moet hangen: .8 want in 4 van de 5 gevallen zijn de beoordelaars het
met elkaar eens.
Dan hebben we het over proportie overeenstemming, .8, PO.
Dia 6:
Voordeel kruistabel: je kunt een hele grote hoeveelheid waarnemingen noteren.
Hoe kun je aan de kruistabel zien of er grote mate van overeenstemming is?
-> je kunt op twee manieren kijken:
- Je kunt naar de diagonaal kijken. Want waar zitten de overeenstemmingen? 1-1, 2-2. 3-3. Dus
als de diagonaal goed gevuld is dat is een teken dat men het vaak met elkaar eens was.
- Je hoopt dat buiten de diagonaal zo min mogelijk gevuld is.
Dus als je de Po wilt berekenen, tel je de diagonaal op en deel je door N, in dit geval 5.
Dia 7:
Dat mag je ook doen op basis van proporties.
Hier staat een tabel met grotere aantallen. Blijkbaar is de combinatie 1-1, 38 keer voorgekomen. ( 38
+ 40 + 44 ) / 200 = = .61.
1
, Psychometrie en besliskunde HC 7
Je kan ook al meteen proporties invullen (bijv. 38/200). En als je dan de proporties bij elkaar optelt
dan heb je al meteen de Po
Dia 8:
Waar Po geen rekening mee houdt en daar moet wel rekening mee gehouden worden, namelijk dat
mensen op basis van toeval eigenlijk al hetzelfde doen. Dus op het moment dat je mensen
willekeurig iets in laat vullen, dus niet gericht laat kijken met het observatieschema in de hand, dan
zal op basis van toeval al het een en ander gescoord worden.
Dus op basis van toeval daar moeten we eigenlijk voor gaan corrigeren. Dat doe ik aan de hand van
een voorbeeldje op het bord (schrijft op het bord). Je mag dus op basis van toeval bepaalde
frequenties in elke cel gaan verwachten. Stel dat wij .90 vrouwen hebben in de studie en 10%
mannen. En dat de verhouding bruine ogen en blauwe ogen 50/50 is. Als ik 100 mensen in een zaal
heb zitten, wat mag ik dan op basis van de verdeling van de kenmerken verwachten dat er vrouwen
zijn met blauwe ogen? 45.
Dus willen wij weten wat op basis van toeval in een bepaalde cel verwacht mag worden. Dan is dat
een kwestie van de randproporties met elkaar te vermenigvuldigen.
Dia 9:
Wat mag je nou verwachten dat in cel 1-1 aan proportie zit? .25 * .35 = .0875
Je kunt het ook doen met de absolute getallen. Dan moet je delen door N kwadraat.
Dit is een kwestie van elke cel uitrekenen maar dat hoeft voor de berekening van de
overeenstemming niet. Voor berekening van de overeenstemming volstaat het om te kijken wat de
verwachte frequentie is op de diagonaal!
Dia 11:
Proportie toevalsovereenstemming moet van de gewone proportie overeenstemming af getrokken
worden. Po – Pe. Als je alleen dat doet dan heb je een maat die nog niet gevoelig is voor de grote van
het aantal cellen en voor het aantal mensen.
Als je deelt door 1 – Pe dan komt daar een maat uit tussen -1 en 1.
Dus Kappa is de mate van overeenstemming die van toepassing is op allerlei soorten schema’s.
waarbij gecorrigeerd is voor toevalsovereenstemming.
Dia 13:
Kappa heeft -1 wanneer er totaal gebrek is aan overeenstemming.
Docent tekent een voorbeeld op het bord. Hoe groot zou Kappa hier ongeveer zijn? -.96. Ze zijn het
systematisch niet met elkaar heen.
Dia 15:
Ze doen het redelijk overeenstemmend
2
Transcriptie HC 7
Interbeoordelaars-overeenstemming
bij data van nominaal en ordinaal meetniveau
Dia 1:
We maken een switch van betrouwbaarheid over meetinstrumenten naar observaties.
Dia 2:
Interbeoordelaarsovereenstemming. Waar hebben we het dan over? Mensen die ergens naar kijken,
die ergens een classificatie, een oordeel over geven. In principe is dat gebaseerd op een systeem. Dus
je hebt een aantal categorieën waar je naar kijkt. In ons vakgebied is het gedrag, spel, thuissituatie,
op school. Dan heb je meestal een aantal categorieën voor ogen waar je naar kijkt en waar je mee
wilt scoren. Afhankelijk van het type data dat je hebt kun je bepaalde maten gebruiken, berekenen
en andere weer niet.
Voor de pauze hebben we het over nominale en ordinale data. Na de pauze interval data.
Wat zeggen je intuïtief, wat bepaald dat een observatie goed verloopt? En dat er ook een hoge mate
van overeenstemming tussen mensen zal zijn?
-> hetzelfde meetinstrument
-> dekkend meetinstrument
-> categorieën nauwkeurig beschreven
-> de mensen zelf. Voorbereid, getraind
Dia 4:
Hoge mate van overeenstemming.
-> als je daar een cijfertje aan moet hangen: .8 want in 4 van de 5 gevallen zijn de beoordelaars het
met elkaar eens.
Dan hebben we het over proportie overeenstemming, .8, PO.
Dia 6:
Voordeel kruistabel: je kunt een hele grote hoeveelheid waarnemingen noteren.
Hoe kun je aan de kruistabel zien of er grote mate van overeenstemming is?
-> je kunt op twee manieren kijken:
- Je kunt naar de diagonaal kijken. Want waar zitten de overeenstemmingen? 1-1, 2-2. 3-3. Dus
als de diagonaal goed gevuld is dat is een teken dat men het vaak met elkaar eens was.
- Je hoopt dat buiten de diagonaal zo min mogelijk gevuld is.
Dus als je de Po wilt berekenen, tel je de diagonaal op en deel je door N, in dit geval 5.
Dia 7:
Dat mag je ook doen op basis van proporties.
Hier staat een tabel met grotere aantallen. Blijkbaar is de combinatie 1-1, 38 keer voorgekomen. ( 38
+ 40 + 44 ) / 200 = = .61.
1
, Psychometrie en besliskunde HC 7
Je kan ook al meteen proporties invullen (bijv. 38/200). En als je dan de proporties bij elkaar optelt
dan heb je al meteen de Po
Dia 8:
Waar Po geen rekening mee houdt en daar moet wel rekening mee gehouden worden, namelijk dat
mensen op basis van toeval eigenlijk al hetzelfde doen. Dus op het moment dat je mensen
willekeurig iets in laat vullen, dus niet gericht laat kijken met het observatieschema in de hand, dan
zal op basis van toeval al het een en ander gescoord worden.
Dus op basis van toeval daar moeten we eigenlijk voor gaan corrigeren. Dat doe ik aan de hand van
een voorbeeldje op het bord (schrijft op het bord). Je mag dus op basis van toeval bepaalde
frequenties in elke cel gaan verwachten. Stel dat wij .90 vrouwen hebben in de studie en 10%
mannen. En dat de verhouding bruine ogen en blauwe ogen 50/50 is. Als ik 100 mensen in een zaal
heb zitten, wat mag ik dan op basis van de verdeling van de kenmerken verwachten dat er vrouwen
zijn met blauwe ogen? 45.
Dus willen wij weten wat op basis van toeval in een bepaalde cel verwacht mag worden. Dan is dat
een kwestie van de randproporties met elkaar te vermenigvuldigen.
Dia 9:
Wat mag je nou verwachten dat in cel 1-1 aan proportie zit? .25 * .35 = .0875
Je kunt het ook doen met de absolute getallen. Dan moet je delen door N kwadraat.
Dit is een kwestie van elke cel uitrekenen maar dat hoeft voor de berekening van de
overeenstemming niet. Voor berekening van de overeenstemming volstaat het om te kijken wat de
verwachte frequentie is op de diagonaal!
Dia 11:
Proportie toevalsovereenstemming moet van de gewone proportie overeenstemming af getrokken
worden. Po – Pe. Als je alleen dat doet dan heb je een maat die nog niet gevoelig is voor de grote van
het aantal cellen en voor het aantal mensen.
Als je deelt door 1 – Pe dan komt daar een maat uit tussen -1 en 1.
Dus Kappa is de mate van overeenstemming die van toepassing is op allerlei soorten schema’s.
waarbij gecorrigeerd is voor toevalsovereenstemming.
Dia 13:
Kappa heeft -1 wanneer er totaal gebrek is aan overeenstemming.
Docent tekent een voorbeeld op het bord. Hoe groot zou Kappa hier ongeveer zijn? -.96. Ze zijn het
systematisch niet met elkaar heen.
Dia 15:
Ze doen het redelijk overeenstemmend
2
