, OVERZICHT
Observeren Toetsen Vragenlijsten Validiteit
INTERBEOORDELAARSBETROUWBAARHEID THEORETISCHE MEETMODELLEN FACTORANALYSE Inferenties
- Taakselectie
categorisch kwantitatief
Klassieke testtheorie ! Numerieke variabelen en hercoderen ! - Scoren
2 beoordelaars Cohen’s Kappa ICC
- Betrouwbaarheid toets: Cronbach’s alpha - Generaliseren
+2 beoordelaars Fleiss’ Kappa ICC
Cronbach’s 𝜶 Interne consistentie Correlatiecoëfficiënt (STAT B) - Extrapoleren
! NA’s hercoderen naar 0 of verwijderen ! 𝛼 ≥ 0.9 Excellent rxy VERBAND: + of - - Beslissen
0.9 > 𝛼 ≥ 0.8 Goed 𝟏 − 𝟎. 𝟓𝟎 Sterk verband
- Cohen’s kappa 0.8 > 𝛼 ≥ 0.7 Aanvaardbaar 𝟎. 𝟒𝟗 − 𝟎. 𝟑𝟎 Middelmatig verband
- Tussen 0 en 1 0.7 > 𝛼 ≥ 0.6 Twijfelachtig 𝟎. 𝟐𝟗 − 𝟎. 𝟏𝟎 Zwak verband
- Interpretatie: 0. 6 > 𝛼 ≥ 0.5 Zwak < 0.10 Geen verband
- Vanaf 0.70 = voldoende 0.5 > 𝛼 Onaanvaardbaar
- k < 0.20: weinig tot geen overeenkomst Samenhang tussen variabelen zoeken
- 0.20 < k < 0.40: beperkte overeenkomst - Moeilijkheid item - Soorten:
- 0.40 < k < 0.60: matige overeenkomst - Discriminerend vermogen item: Rir - PCA
- 0.60 < k < 0.80: sterke overeenkomst - EFA à errors
Rir Item-totaal correlatie
- 0.80 < k: zeer sterke tot volledige overeenkomst - 3 criteria om component te weerhouden
0.40 of hoger Zeer goed
- Kaiser-criterium: eigenwaarde > 1
0.30 – 0.39 Goed
- Fleiss’ kappa - Scree-test: enkel componenten voor buigpunt
0.20 – 0.29 Voldoende
- Tussen 0 en 1 - Gesimuleerde data: voor kruispunt
Minder dan 0.20 Slecht
- Interpretatie: - Roteren
- Vanaf 0.70 = voldoende Item respons theorie - Orthogonale: geen samenhang
- k < 0.20: weinig tot geen overeenkomst - Rasch-model - Oblieke: wel samenhang
- 0.20 < k < 0.40: beperkte overeenkomst - Kans om juist te hebben - Correlatie variabele en component
- 0.40 < k < 0.60: matige overeenkomst - Discriminatiefactor = 1 - Kritische waarde > 0.40
- 0.60 < k < 0.80: sterke overeenkomst - Item fit > 0.05 - Verschil componentladingen: min. 0.15
- 0.80 < k: zeer sterke tot volledige overeenkomst - 1P-model
- Per categorie betrouwbaarheid - Discriminatiefactor is niet 1 maar hetzelfde Betrouwbaarheidsanalyse: Cronbach’s alpha
- Moeilijkheid Cronbach’s 𝜶 Interne consistentie
- ICC - Item fit > 0.05 𝛼 ≥ 0.9 Excellent
- Varianten: - 2P-model 0.9 > 𝛼 ≥ 0.8 Goed
- One-way / partially crossed (random - Discriminatiefactor verschillend 0.8 > 𝛼 ≥ 0.7 Aanvaardbaar
selectie van gedrag) vs. two-way / fully - Item fit > 0.05 0.7 > 𝛼 ≥ 0.6 Twijfelachtig
crossed (al het gedrag) 0. 6 > 𝛼 ≥ 0.5 Zwak
- Absolute overeenstemming (scores vgl) vs. 0.5 > 𝛼 Onaanvaardbaar
consistentie (rangorde vgl)
- Single (één beoordelaar) vs. average
(gemiddelde van beoordelaars)
- Interpretatie
- ICC < 0.40: weinig tot geen overeenkomst
- 0.40 ≤ ICC < 0.59: redelijke
- 0.60 ≤ ICC < 0.74: goede
- 0.75 ≤ ICC: sterke overeenkomst
, Operationaliseren
Begrippen Kwaliteitscriteria Tools
WAT gaan we meten? Validiteit Triangulatie
- Concepten: algemeen aanvaarde collectie van betekenissen - Verschillende benaderingen - Meerdere methodes combineren
of karakteristieken van gebeurtenissen, objecten, situaties, - Kenmerk van instrument / methode à Rijkere informatie
gedrag dat we willen groeperen à tastbaar - Kenmerk van interpretatie en conclusie o.b.v. instrument à Zwaktes van ene methode gecompenseerd door andere
- Construct: abstracter concept à Argument-gebaseerde benadering (Kane)
à Conceptuele definitie - Taken onderzoeker
- Concreet of abstract (theoriegebonden)? - Goed onderbouwde set van argumenten waarom bepaalde
- Enkelvoudig (1 vraag) of meervoudig? conclusies valide zijn
- Evidentie aanreiken tussen link meting en conclusie of
Operationaliseren gebruik resultaten (focus kritieke aspecten: laatste hoofdstuk)
- = meetbaar maken = vastleggen hoe je concept/construct
meetbaar maakt Betrouwbaarheid
- Herhaalbaarheid: onder gelijke omstandigheden,
Meten vergelijkbare scores
- Toekennen van waarde aan een vaststelling - Afhankelijk van allerlei factoren: tijd, beoordelaars, taken, …
- Metingen die resulteren in variabelen - Noodzakelijk voor validiteit
- Van concept naar één of meerdere variabelen
- Leidt tot nominale, ordinale of numerieke waarden
Wanneer meten we goed?
à Kwaliteitscriteria
Observeren Toetsen Vragenlijsten Validiteit
INTERBEOORDELAARSBETROUWBAARHEID THEORETISCHE MEETMODELLEN FACTORANALYSE Inferenties
- Taakselectie
categorisch kwantitatief
Klassieke testtheorie ! Numerieke variabelen en hercoderen ! - Scoren
2 beoordelaars Cohen’s Kappa ICC
- Betrouwbaarheid toets: Cronbach’s alpha - Generaliseren
+2 beoordelaars Fleiss’ Kappa ICC
Cronbach’s 𝜶 Interne consistentie Correlatiecoëfficiënt (STAT B) - Extrapoleren
! NA’s hercoderen naar 0 of verwijderen ! 𝛼 ≥ 0.9 Excellent rxy VERBAND: + of - - Beslissen
0.9 > 𝛼 ≥ 0.8 Goed 𝟏 − 𝟎. 𝟓𝟎 Sterk verband
- Cohen’s kappa 0.8 > 𝛼 ≥ 0.7 Aanvaardbaar 𝟎. 𝟒𝟗 − 𝟎. 𝟑𝟎 Middelmatig verband
- Tussen 0 en 1 0.7 > 𝛼 ≥ 0.6 Twijfelachtig 𝟎. 𝟐𝟗 − 𝟎. 𝟏𝟎 Zwak verband
- Interpretatie: 0. 6 > 𝛼 ≥ 0.5 Zwak < 0.10 Geen verband
- Vanaf 0.70 = voldoende 0.5 > 𝛼 Onaanvaardbaar
- k < 0.20: weinig tot geen overeenkomst Samenhang tussen variabelen zoeken
- 0.20 < k < 0.40: beperkte overeenkomst - Moeilijkheid item - Soorten:
- 0.40 < k < 0.60: matige overeenkomst - Discriminerend vermogen item: Rir - PCA
- 0.60 < k < 0.80: sterke overeenkomst - EFA à errors
Rir Item-totaal correlatie
- 0.80 < k: zeer sterke tot volledige overeenkomst - 3 criteria om component te weerhouden
0.40 of hoger Zeer goed
- Kaiser-criterium: eigenwaarde > 1
0.30 – 0.39 Goed
- Fleiss’ kappa - Scree-test: enkel componenten voor buigpunt
0.20 – 0.29 Voldoende
- Tussen 0 en 1 - Gesimuleerde data: voor kruispunt
Minder dan 0.20 Slecht
- Interpretatie: - Roteren
- Vanaf 0.70 = voldoende Item respons theorie - Orthogonale: geen samenhang
- k < 0.20: weinig tot geen overeenkomst - Rasch-model - Oblieke: wel samenhang
- 0.20 < k < 0.40: beperkte overeenkomst - Kans om juist te hebben - Correlatie variabele en component
- 0.40 < k < 0.60: matige overeenkomst - Discriminatiefactor = 1 - Kritische waarde > 0.40
- 0.60 < k < 0.80: sterke overeenkomst - Item fit > 0.05 - Verschil componentladingen: min. 0.15
- 0.80 < k: zeer sterke tot volledige overeenkomst - 1P-model
- Per categorie betrouwbaarheid - Discriminatiefactor is niet 1 maar hetzelfde Betrouwbaarheidsanalyse: Cronbach’s alpha
- Moeilijkheid Cronbach’s 𝜶 Interne consistentie
- ICC - Item fit > 0.05 𝛼 ≥ 0.9 Excellent
- Varianten: - 2P-model 0.9 > 𝛼 ≥ 0.8 Goed
- One-way / partially crossed (random - Discriminatiefactor verschillend 0.8 > 𝛼 ≥ 0.7 Aanvaardbaar
selectie van gedrag) vs. two-way / fully - Item fit > 0.05 0.7 > 𝛼 ≥ 0.6 Twijfelachtig
crossed (al het gedrag) 0. 6 > 𝛼 ≥ 0.5 Zwak
- Absolute overeenstemming (scores vgl) vs. 0.5 > 𝛼 Onaanvaardbaar
consistentie (rangorde vgl)
- Single (één beoordelaar) vs. average
(gemiddelde van beoordelaars)
- Interpretatie
- ICC < 0.40: weinig tot geen overeenkomst
- 0.40 ≤ ICC < 0.59: redelijke
- 0.60 ≤ ICC < 0.74: goede
- 0.75 ≤ ICC: sterke overeenkomst
, Operationaliseren
Begrippen Kwaliteitscriteria Tools
WAT gaan we meten? Validiteit Triangulatie
- Concepten: algemeen aanvaarde collectie van betekenissen - Verschillende benaderingen - Meerdere methodes combineren
of karakteristieken van gebeurtenissen, objecten, situaties, - Kenmerk van instrument / methode à Rijkere informatie
gedrag dat we willen groeperen à tastbaar - Kenmerk van interpretatie en conclusie o.b.v. instrument à Zwaktes van ene methode gecompenseerd door andere
- Construct: abstracter concept à Argument-gebaseerde benadering (Kane)
à Conceptuele definitie - Taken onderzoeker
- Concreet of abstract (theoriegebonden)? - Goed onderbouwde set van argumenten waarom bepaalde
- Enkelvoudig (1 vraag) of meervoudig? conclusies valide zijn
- Evidentie aanreiken tussen link meting en conclusie of
Operationaliseren gebruik resultaten (focus kritieke aspecten: laatste hoofdstuk)
- = meetbaar maken = vastleggen hoe je concept/construct
meetbaar maakt Betrouwbaarheid
- Herhaalbaarheid: onder gelijke omstandigheden,
Meten vergelijkbare scores
- Toekennen van waarde aan een vaststelling - Afhankelijk van allerlei factoren: tijd, beoordelaars, taken, …
- Metingen die resulteren in variabelen - Noodzakelijk voor validiteit
- Van concept naar één of meerdere variabelen
- Leidt tot nominale, ordinale of numerieke waarden
Wanneer meten we goed?
à Kwaliteitscriteria
