Psychometrie en besliskunde HC 8
Transcriptie HC 8
PPT HC 7 & 8
Interbeoordelaars-overeenstemming
bij data van interval meetniveau
Dia 14:
Dan gaan we naar de betrouwbaarheid. Als je vanuit het oogpunt van overeenstemming kijkt, wat
zouden jullie zeggen, die komt ergens tussen de 0 en de 1 uit. Zijn die het aardig met elkaar eens?
Steek je hand op, wie gaat er voor tussen de 0 en de .25? Tussen de .25 en .5? Tussen de .5 en
de .75? Tussen de .75 en de 1?
We zullen het zo zien.
Hoe zit het met de betrouwbaarheid? Is die dan hoger, gelijk of lager? Hoger, want de verschillen
tussen de beoordelaars zitten daar niet in dus dat pakt wat gunstiger uit.
Dia 15:
Hetzelfde plaatje maar nu vanuit de betrouwbaarheid gezien. Verschillen tussen de werkstukken,
prima, het ene werkstuk mag best slechter zijn dan het andere werkstuk. Mag de ene beoordelaar
strenger zijn dan de andere? Vanuit het hoogpunt van de betrouwbaarheid mag dat best. Het je
iedere keer ziet dat er steeds systematisch 1 punt verschil is dan dat geen enkel probleem. Dan kun
je nog steeds zeggen dat er een sterke samenhang tussen de beoordelaars is.
Maar dat is niet meer het geval wanneer de verschillen tussen de beoordelaars verschillen per
werkstuk, als er sprake is van interactie. Dus bron 3 doet afbreuk aan de betrouwbaarheid.
Dia 16:
Als we dan naar de formule kijken is dat eigenlijk heel eenvoudig opgelost. Want wat zit er nou niet
in in de formule? De bron van de beoordelaars, die doet er namelijk niets toe bij het berekenen van
de overeenstemming. Waarom benadruk ik dat? Als jullie straks met een formule blad op het
tentamen zitten dan is als je zo redeneert en je ziet de formule staan dan denk je oh ja dat is waar
hier zit die spreiding tussen de beoordelaars niet in dus dat moet de formule zijn voor de
betrouwbaarheid.
We hebben hier dus weer de verschillen tussen de werkstukken, de beoordelaars zitten er niet in en
we hebben het interactie component.
Dia 17:
We gaan strakjes rekenen. Nog even twee extremere voorbeelden. Voorbeeld B en C. Er zitten hele
duidelijke patronen in deze voorbeelden. Wat typeert voorbeeld B? Systematische verschillen tussen
de beoordelaars. En de werkstukken verschillen ook, die lopen op. Dus met het toenemen van de
werkstukken, laat ik het zo maar zeggen, dat is een beetje gek geformuleerd maar de cijfers lopen op.
En de beoordelaars verschillen systematisch. Dus hier zit een systematisch verschil van 2 (wijst naar
dia), hier een systematisch verschil van 3.
Voorbeeld B is dus het voorbeeld waarbij de werkstukken verschillen en de beoordelaars ook
systematisch.
1
, Psychometrie en besliskunde HC 8
Dia 18:
Per werkstuk een verschillende beoordeling, geen sprake van overeenstemming.
Patroon in de data: beoordelaar 2 geeft steeds 2 punten meer dan beoordelaar 1; Idem 3 punten
voor beoordelaar 3 en 2. Dat is in principe dus geen probleem. Die spreidingen zijn gelijk als je naar
de scores gaat kijken.
Elke beoordelaar komt tot dezelfde rangordening, de scores van de 3 beoordelaars correleren
perfect met elkaar. Zien we dat? (terug naar de vorige dia). Dat als ik deze twee (1 en 2) de correlatie
bereken, en 2 en 3, en 1 en 3, perfecte correlatie. Perfecte correlatie wilt zeggen perfecte
beoordelaarsbetrouwbaarheid.
Dia 19:
Bij voorbeeld C is alles hetzelfde. De werkstukken verschillen wel maar iedereen beoordeelt ze
hetzelfde. Dus we hebben niet alleen dezelfde rangordening maar ze zitten ook nog eens in dezelfde
hoogte. Dan hebben we dus ook perfecte betrouwbaarheid en overeenstemming dus.
Dia 20:
We gaan nu rekenen. We hebben nu voldoende gestoeid met de verschillende bronnen en wat ze
doen met de overeenstemming en de betrouwbaarheid. Nu moeten we gaan rekenen.
Dia 21:
De data. Dat hele rekenwerk achter de schermen zitten dit jaar niet meer zo veel in de slides, nog een
klein beetje zodat je een beetje ziet welke stapjes er gezet worden. Maar voor het berekenen van de
Sums of squares van alle bronnen heb ik nog voor de liefhebber op bs een kleine powerpoint staan
waarbij je kunt zien voor de drie bronnen hoe die een voor een uitgerekend moeten worden. Dus we
houden het nu beperkt. Ik neem jullie nog even mee in het berekenen van de SS totaal en voor de
rest is het een kwestie dat jullie de output moeten kunnen lezen. Dat is ook wat je op een tentamen
moet doen. We lieten jullie al nooit dat helemaal met de hand uitrekenen, maar we vonden dat we
jullie wel moesten leren hoe het gebeurde zodat je als het ware de ANOVA tabel waar we nu naartoe
gaan werken, helemaal handmatig zou kunnen berekenen. Nu hoef je dus eigenlijk alleen maar de
ANOVA tabel te kunnen aflezen.
Belangrijk om te weten is dat die Sums of squares drie bronnen hebben. (schrijft op het bord) SS
totaal, we hebben een aantal bronnen van spreiding. We hebben de werkstukken, we hebben de
beoordelaars en we hebben de interactie. Dat zijn de drie bronnen zoals we ze woorden geven. Als
we gaan rekenen gaan we dat vertalen naar SS. Dat betekend dat afhankelijk van hoe groot iedere
bron is, neemt hij een bepaald deel in van de totale spreiding.
Hoe gaan we dat doen. De Sums of Squares van het totaal dat is gewoon het geheel (schrijft op het
bord). SS totaal is niet meer en niet minder een cijfer voor de spreiding in alle scores. Hoeveel
hebben wij er in ons voorbeeld? Hoeveel getallen hebben we? 15, want we hebben 5 werkstukken
en 3 beoordelaars. SS totaal staat gewoon voor de spreiding tussen die 15 cijfers. Want we zullen zo
zien dat een stukje van die spreiding te maken kan hebben met verschillen tussen beoordelaars,
tussen werkstukken en interactie. Hoe zouden jullie dat doen? Hoe zou je die SS totaal berekenen?
(gaat terug naar vorige slide). Hoe zou je dat doen met deze slide in je handen? -> Wat doe je met die
spreiding, je zegt eigenlijk van hoe ver zitten ze van elkaar af. Wat is een goede maat, om te kijken
naar wat is het gemiddelde, hoeveel zit iedereen van het gemiddelde af? Dat is een mooie maat. Is
2
Transcriptie HC 8
PPT HC 7 & 8
Interbeoordelaars-overeenstemming
bij data van interval meetniveau
Dia 14:
Dan gaan we naar de betrouwbaarheid. Als je vanuit het oogpunt van overeenstemming kijkt, wat
zouden jullie zeggen, die komt ergens tussen de 0 en de 1 uit. Zijn die het aardig met elkaar eens?
Steek je hand op, wie gaat er voor tussen de 0 en de .25? Tussen de .25 en .5? Tussen de .5 en
de .75? Tussen de .75 en de 1?
We zullen het zo zien.
Hoe zit het met de betrouwbaarheid? Is die dan hoger, gelijk of lager? Hoger, want de verschillen
tussen de beoordelaars zitten daar niet in dus dat pakt wat gunstiger uit.
Dia 15:
Hetzelfde plaatje maar nu vanuit de betrouwbaarheid gezien. Verschillen tussen de werkstukken,
prima, het ene werkstuk mag best slechter zijn dan het andere werkstuk. Mag de ene beoordelaar
strenger zijn dan de andere? Vanuit het hoogpunt van de betrouwbaarheid mag dat best. Het je
iedere keer ziet dat er steeds systematisch 1 punt verschil is dan dat geen enkel probleem. Dan kun
je nog steeds zeggen dat er een sterke samenhang tussen de beoordelaars is.
Maar dat is niet meer het geval wanneer de verschillen tussen de beoordelaars verschillen per
werkstuk, als er sprake is van interactie. Dus bron 3 doet afbreuk aan de betrouwbaarheid.
Dia 16:
Als we dan naar de formule kijken is dat eigenlijk heel eenvoudig opgelost. Want wat zit er nou niet
in in de formule? De bron van de beoordelaars, die doet er namelijk niets toe bij het berekenen van
de overeenstemming. Waarom benadruk ik dat? Als jullie straks met een formule blad op het
tentamen zitten dan is als je zo redeneert en je ziet de formule staan dan denk je oh ja dat is waar
hier zit die spreiding tussen de beoordelaars niet in dus dat moet de formule zijn voor de
betrouwbaarheid.
We hebben hier dus weer de verschillen tussen de werkstukken, de beoordelaars zitten er niet in en
we hebben het interactie component.
Dia 17:
We gaan strakjes rekenen. Nog even twee extremere voorbeelden. Voorbeeld B en C. Er zitten hele
duidelijke patronen in deze voorbeelden. Wat typeert voorbeeld B? Systematische verschillen tussen
de beoordelaars. En de werkstukken verschillen ook, die lopen op. Dus met het toenemen van de
werkstukken, laat ik het zo maar zeggen, dat is een beetje gek geformuleerd maar de cijfers lopen op.
En de beoordelaars verschillen systematisch. Dus hier zit een systematisch verschil van 2 (wijst naar
dia), hier een systematisch verschil van 3.
Voorbeeld B is dus het voorbeeld waarbij de werkstukken verschillen en de beoordelaars ook
systematisch.
1
, Psychometrie en besliskunde HC 8
Dia 18:
Per werkstuk een verschillende beoordeling, geen sprake van overeenstemming.
Patroon in de data: beoordelaar 2 geeft steeds 2 punten meer dan beoordelaar 1; Idem 3 punten
voor beoordelaar 3 en 2. Dat is in principe dus geen probleem. Die spreidingen zijn gelijk als je naar
de scores gaat kijken.
Elke beoordelaar komt tot dezelfde rangordening, de scores van de 3 beoordelaars correleren
perfect met elkaar. Zien we dat? (terug naar de vorige dia). Dat als ik deze twee (1 en 2) de correlatie
bereken, en 2 en 3, en 1 en 3, perfecte correlatie. Perfecte correlatie wilt zeggen perfecte
beoordelaarsbetrouwbaarheid.
Dia 19:
Bij voorbeeld C is alles hetzelfde. De werkstukken verschillen wel maar iedereen beoordeelt ze
hetzelfde. Dus we hebben niet alleen dezelfde rangordening maar ze zitten ook nog eens in dezelfde
hoogte. Dan hebben we dus ook perfecte betrouwbaarheid en overeenstemming dus.
Dia 20:
We gaan nu rekenen. We hebben nu voldoende gestoeid met de verschillende bronnen en wat ze
doen met de overeenstemming en de betrouwbaarheid. Nu moeten we gaan rekenen.
Dia 21:
De data. Dat hele rekenwerk achter de schermen zitten dit jaar niet meer zo veel in de slides, nog een
klein beetje zodat je een beetje ziet welke stapjes er gezet worden. Maar voor het berekenen van de
Sums of squares van alle bronnen heb ik nog voor de liefhebber op bs een kleine powerpoint staan
waarbij je kunt zien voor de drie bronnen hoe die een voor een uitgerekend moeten worden. Dus we
houden het nu beperkt. Ik neem jullie nog even mee in het berekenen van de SS totaal en voor de
rest is het een kwestie dat jullie de output moeten kunnen lezen. Dat is ook wat je op een tentamen
moet doen. We lieten jullie al nooit dat helemaal met de hand uitrekenen, maar we vonden dat we
jullie wel moesten leren hoe het gebeurde zodat je als het ware de ANOVA tabel waar we nu naartoe
gaan werken, helemaal handmatig zou kunnen berekenen. Nu hoef je dus eigenlijk alleen maar de
ANOVA tabel te kunnen aflezen.
Belangrijk om te weten is dat die Sums of squares drie bronnen hebben. (schrijft op het bord) SS
totaal, we hebben een aantal bronnen van spreiding. We hebben de werkstukken, we hebben de
beoordelaars en we hebben de interactie. Dat zijn de drie bronnen zoals we ze woorden geven. Als
we gaan rekenen gaan we dat vertalen naar SS. Dat betekend dat afhankelijk van hoe groot iedere
bron is, neemt hij een bepaald deel in van de totale spreiding.
Hoe gaan we dat doen. De Sums of Squares van het totaal dat is gewoon het geheel (schrijft op het
bord). SS totaal is niet meer en niet minder een cijfer voor de spreiding in alle scores. Hoeveel
hebben wij er in ons voorbeeld? Hoeveel getallen hebben we? 15, want we hebben 5 werkstukken
en 3 beoordelaars. SS totaal staat gewoon voor de spreiding tussen die 15 cijfers. Want we zullen zo
zien dat een stukje van die spreiding te maken kan hebben met verschillen tussen beoordelaars,
tussen werkstukken en interactie. Hoe zouden jullie dat doen? Hoe zou je die SS totaal berekenen?
(gaat terug naar vorige slide). Hoe zou je dat doen met deze slide in je handen? -> Wat doe je met die
spreiding, je zegt eigenlijk van hoe ver zitten ze van elkaar af. Wat is een goede maat, om te kijken
naar wat is het gemiddelde, hoeveel zit iedereen van het gemiddelde af? Dat is een mooie maat. Is
2
